Nicht jede Frage gehört in eine Cloud. Für Dokumente, Hausdaten und alles Vertrauliche laufen Sprachmodelle auf eigener Hardware – verteilt auf zwei Server mit unterschiedlichen Stärken:
- Zu Hause, mit Grafikkarte: schnell, weil die Grafikkarte rechnet. Ihre 16 GB Grafikspeicher reichen für die kleineren Modelle, bei denen es auf kurze Antwortzeiten ankommt.
- Im Rechenzentrum: für die großen Modelle bis um die 100 GB. Sie rechnen auf dem Prozessor statt auf einer Grafikkarte – langsamer, dafür passen Modelle hinein, die für 16 GB Grafikspeicher viel zu groß wären.
Beide stehen den übrigen Projekten zur Verfügung – je nachdem, ob eine Aufgabe Tempo oder Größe braucht.
Der Betrieb hat seine eigenen Tücken: Treiber, die zum Kernel passen müssen, Updates, die nichts zerbrechen dürfen, und eine Überwachung, die merkt, wenn die Grafikkarte still ausfällt. Genau dafür wacht das Cockpit über beide.
