Lokale KI im Unternehmen betreiben: Vom Modelltest zum verlässlichen Dienst
Von Kevin Kröger, Geschäftsführer, Software und Plattformbetrieb
Lokale KI ist dann sinnvoll, wenn Datenwege, Antwortzeit, Anpassbarkeit oder planbare Nutzung einen eigenen Betrieb rechtfertigen. Ein Modell auf einem Rechner ist aber noch kein produktiver Dienst. Benötigt werden ein klarer Anwendungsfall, repräsentative Qualitätsmessung, Rollen und Berechtigungen, kontrollierte Modell- und Datenversionen, Überwachung, Kapazitätsplanung und ein geübter Wiederanlauf.
Welches Problem soll der lokale Betrieb lösen?
Beginne nicht mit der Hardware, sondern mit einer konkreten Aufgabe. Beschreibe, wer welche Eingabe liefert, welches Ergebnis erwartet wird, welche Fehler vertretbar sind und wie oft der Vorgang auftritt. Lokaler Betrieb kann Datenwege begrenzen und eine gleichmäßige Antwortzeit ermöglichen, erzeugt dafür aber Verantwortung für Modelle, Infrastruktur, Sicherheit, Qualität und laufende Aktualisierung. Ohne messbaren Vorteil wird aus technischer Souveränität schnell nur zusätzlicher Betriebsaufwand.
Welche Daten erreichen Modell und Wissensspeicher?
Erstelle für jeden Nutzerweg einen sichtbaren Datenfluss. Dazu gehören Eingabe, Systemprompt, abgerufene Dokumente, Modellkontext, Ausgabe, Protokolle, Fehlerspeicher und Sicherungen. Lege fest, welche Datenklassen verarbeitet werden dürfen, wie Rollen aus dem Quellsystem übernommen werden und wie Löschung oder Sperrung bis in Suchindex und Protokoll wirkt. Lokale Infrastruktur ersetzt diese Regeln nicht, sie macht ihre technische Umsetzung lediglich besser kontrollierbar.
Wie wird die Modellqualität vor dem Betrieb geprüft?
Baue einen Prüfsatz aus echten, freigegebenen Fachfällen auf. Für jeden Fall werden erwartete Kernaussagen, unzulässige Antworten, Quellenanforderungen und eine menschliche Entscheidung festgehalten. Vergleiche Modellvarianten, Quantisierung, Kontextlänge und Promptaufbau gegen denselben Satz. Gemessen werden nicht nur Treffer, sondern auch gefährliche Auslassungen, erfundene Aussagen, Antwortzeit und Kosten je Vorgang. Eine Änderung an Modell, Prompt oder Wissensbasis löst eine erneute Prüfung aus.
Wie wird Hardware belastbar dimensioniert?
Die erforderliche Leistung hängt von Modellgröße, Quantisierung, Kontext, parallelen Anfragen, gewünschter Antwortzeit und Speicherbedarf ab. Ein kurzer Lasttest mit repräsentativen Eingaben ist aussagekräftiger als eine Beschaffung nach theoretischen Spitzenwerten. Plane Reserven für Modellwechsel, Wartung und Lastspitzen, ohne seltene Maximalwerte dauerhaft zu bezahlen. Energie, Kühlung, Ersatzteilweg, Treiber und verfügbare Betriebskenntnis gehören in dieselbe Entscheidung wie GPU-Speicher und Rechenleistung.
Was muss überwacht und protokolliert werden?
Technische Überwachung umfasst Auslastung, Speicher, Warteschlangen, Antwortzeit, Fehler, Modellprozess und abhängige Datenbanken. Fachliche Überwachung betrachtet abgelehnte Anfragen, Quellenabdeckung, Qualitätsabweichungen und manuelle Korrekturen. Protokolle werden auf das notwendige Maß begrenzt, geschützt und mit Aufbewahrungsfristen versehen. Ein Betriebsdashboard verbindet technische Signale mit dem betroffenen Nutzerweg, damit das Team nicht erst durch Beschwerden von einer Verschlechterung erfährt.
Wie sieht ein sicherer Wiederanlauf aus?
Sichere nicht nur Dokumente oder Datenbank. Für einen vollständigen Wiederanlauf werden Modellartefakte, Prüfsummen, Konfiguration, Prompts, Berechtigungslogik, Suchindex, Vektordatenbank, Anwendung und Abhängigkeiten benötigt. Lege Reihenfolge, Verantwortliche, Wiederherstellungsziele und einen erlaubten Ersatzbetrieb fest. Die Übung endet erst, wenn ein repräsentativer Nutzerweg wieder eine geprüfte Antwort liefert. Erst dann ist aus einem lokalen Modell ein betreibbarer Dienst geworden.
Quellen und Grundlage
Zentrale Aussagen dieses Beitrags wurden anhand der folgenden Primärquellen geprüft.
Häufige Fragen
- Ist lokale KI automatisch datenschutzkonform?
- Nein. Zweck, Rechtsgrundlage, Datenminimierung, Rollen, Protokolle, Löschung, Modellherkunft und konkrete Nutzung müssen weiterhin geprüft werden. Lokaler Betrieb kann Zugriffe und Datenwege besser begrenzen, ersetzt aber keine rechtliche und organisatorische Bewertung.
- Braucht lokale KI immer eine eigene GPU?
- Nein. Kleine Modelle, seltene Nutzung oder vorberechnete Aufgaben können auf anderer Hardware sinnvoll sein. Die Entscheidung sollte aus Messungen am echten Anwendungsfall entstehen.
- Kann ein lokales Modell ohne Internet betrieben werden?
- Technisch ist ein abgeschotteter Betrieb möglich. Updates, Modellbeschaffung, Schwachstellenbehandlung und kontrollierter Datentransfer brauchen dann einen besonders klaren Prozess.