RAG mit internen Daten: Berechtigungen, Quellen und Qualität sicher gestalten
Von Nico Freitag, Geschäftsführer, Cybersecurity und Governance
Retrieval-Augmented Generation verbindet ein Sprachmodell mit ausgewählten internen Quellen. Sicher wird der Aufbau erst, wenn Dokumentberechtigungen bis zur Antwort gelten, Inhalte versioniert und gelöscht werden können, Quellen sichtbar bleiben, Prompt Injection berücksichtigt wird und die Qualität an echten Fragen gemessen wird. Eine Vektordatenbank allein löst keines dieser Probleme.
Welche Wissensquellen dürfen aufgenommen werden?
Beginne mit einem begrenzten Bestand, dessen Eigentümer, Schutzbedarf und Aktualisierungsweg bekannt sind. Dubletten, veraltete Fassungen und unklare Entwürfe verschlechtern nicht nur die Antwort, sondern erschweren auch die Verantwortlichkeit. Dokumente erhalten Quelle, Version, Gültigkeit, fachlichen Besitzer und Berechtigungsmerkmale. Erst danach werden Abschnitte erzeugt und indexiert. Eine spätere Antwort muss auf diese Metadaten zurückgeführt werden können.
Wie bleiben bestehende Berechtigungen wirksam?
Der Abruf darf keine Inhalte finden, die der anfragende Nutzer im Quellsystem nicht sehen dürfte. Dazu werden Identität und Rollen an die Suche übergeben und bereits vor der Modellübergabe gefiltert. Eine reine Ausblendung in der Oberfläche genügt nicht. Prüft Gruppenwechsel, Austritt, vertrauliche Projekte und Freigaben für externe Personen. Berechtigungstests gehören in die automatisierte Qualitätssicherung und werden nach Änderungen an Index, Suche oder Rollenmodell wiederholt.
Wie werden Prompt Injection und manipulierte Quellen behandelt?
Interne Dokumente sind nicht automatisch vertrauenswürdig. Ein eingebetteter Text kann versuchen, Systemregeln zu überschreiben, Daten anzufordern oder den Nutzer zu einer schädlichen Handlung zu bewegen. Trennt Systemanweisung, Nutzereingabe und abgerufenen Inhalt technisch und behandelt Quellen als Daten, nicht als Befehle. Beschränkt Werkzeuge und Rechte, validiert Ausgaben und verlangt bei wichtigen Aktionen eine ausdrückliche menschliche Entscheidung. Das BSI beschreibt Prompt Injection als relevante Schwachstelle beim Einsatz großer Sprachmodelle.
Wie entstehen nachvollziehbare Antworten?
Eine Antwort zeigt die verwendeten Quellen mit Titel, Abschnitt und möglichst direktem Link. Wenn keine ausreichende Grundlage gefunden wurde, soll das System die Unsicherheit benennen, statt Lücken aus allgemeinem Modellwissen zu füllen. Legt fest, welche Aussage eine Quelle tatsächlich stützen muss. Quellenanzeige ist kein Qualitätsbeweis, wenn der zitierte Abschnitt die Antwort nicht trägt. Deshalb werden Antwort und Beleg gemeinsam bewertet.
Wie funktionieren Aktualisierung und Löschung?
Definiert Ereignisse oder feste Intervalle für neue, geänderte und gelöschte Dokumente. Eine Löschung muss Original, Zwischenspeicher, erzeugte Abschnitte, Suchindex, Protokolle und Sicherungen entsprechend der festgelegten Regeln erreichen. Fehlerhafte Importe benötigen einen sichtbaren Quarantäneweg. Haltet für jeden Index fest, aus welchem Quellenstand er erzeugt wurde. So kann bei einem fehlerhaften Lauf auf einen geprüften Stand zurückgegangen werden.
Welche Kennzahlen zeigen echten Nutzen?
Bewertet Suchtreffer, Quellenabdeckung, fachliche Richtigkeit, unzulässige Offenlegung, Antwortzeit und notwendigen manuellen Korrekturaufwand. Ergänzt technische Messwerte um Nutzerfeedback, aber verwechselt Zustimmung nicht mit Richtigkeit. Ein Prüfsatz enthält normale, schwierige und absichtlich irreführende Fragen. Für kritische Prozesse gilt eine klare Grenze, ab der keine automatische Antwort oder Aktion erfolgen darf. Der Betrieb verbessert dann gezielt Daten, Suche oder Prozess statt nur den Prompt zu verändern.
Quellen und Grundlage
Zentrale Aussagen dieses Beitrags wurden anhand der folgenden Primärquellen geprüft.
Häufige Fragen
- Braucht jedes RAG-System eine Vektordatenbank?
- Nein. Je nach Daten und Frage können klassische Suche, Datenbankabfragen oder eine Kombination geeigneter sein. Entscheidend ist ein zuverlässiger, berechtigter und nachvollziehbarer Abruf.
- Verhindert RAG erfundene Antworten vollständig?
- Nein. Gute Quellen und klare Antwortregeln können das Risiko verringern. Fachliche Tests, sichtbare Belege und sichere Ablehnung bleiben notwendig.
- Dürfen sensible Dokumente in ein lokales RAG-System?
- Nur nach geklärtem Zweck, Schutzbedarf, Rollenmodell, Protokollierung und technischer Prüfung. Lokal bedeutet nicht automatisch, dass jeder interne Nutzer Zugriff erhalten darf.