Wählen Sie geprüfte Quellen und Testfragen aus, gliedern Sie den Inhalt nach Bedeutung mit Metadaten und erstellen Sie eine Suche, die geeignete Signale kombiniert. Filtern Sie die Kandidaten nach Berechtigungen, sortieren Sie sie nach Relevanz, stellen Sie dem Modell nur den nötigen Kontext bereit und verlangen Sie Quellenangaben sowie einen Status für den Fall, dass sich eine Antwort nicht belegen lässt.
Retrieval-Augmented Generation verbindet ein Sprachmodell mit der Suche nach relevanten Unternehmensunterlagen zum Zeitpunkt der Frage. So muss das Modell nicht das gesamte Wissen in seinen Parametern tragen, und die Antwort kann Quellen angeben. RAG ist jedoch weder eine automatische Korrektur veralteter Dokumentation noch eine Garantie für Wahrheit. Eine schlechte Suche liefert einem überzeugend wirkenden Modell falschen Kontext.
Ein gutes Konzept beginnt mit konkreten Fragen, berechtigten Quellen und einer Bewertungsmethode. Danach geht es um die Verarbeitung der Inhalte, die Aufteilung in Passagen, den Index, Filter, die Auswahl von Kandidaten und die Zusammenstellung des Kontexts. Die Antwort sollte Quellen zitieren, fehlende Grundlagen offen benennen und Zugriffsrechte in jedem Schritt respektieren, nicht nur in der Benutzeroberfläche.
Beginnen Sie mit Fragen und maßgeblichen Quellen
Sammeln Sie echte Fragen aus Support, Vertrieb oder internen Teams und ordnen Sie ihnen den erwarteten Quellentyp zu. Unterscheiden Sie zwischen dem Nachschlagen eines Fakts, der Erklärung eines Ablaufs und dem Vergleich mehrerer Dokumente. Jede Aufgabe braucht Grenzen. Ein System für technische Dokumentation sollte ohne gesonderte Konzeption keine rechtlichen oder personellen Entscheidungen liefern.
Legen Sie bei Quellen Verantwortlichen, Freigabestatus, Gültigkeit, Sprache und Zielgruppe fest. Doppelte Richtlinien und alte Anhänge können Widersprüche enthalten, die der Index nur vervielfacht. Führen Sie eine Prioritätsregel ein und zeigen Sie den Konflikt an, statt zufällig auszuwählen. Inhalte ohne Verantwortlichen oder klares Datum eignen sich möglicherweise nicht für eine Antwort, auch wenn sie gut auffindbar sind.
Teilen Sie Inhalte nach Bedeutung auf und bewahren Sie die Metadaten
Eine Passage sollte einen geschlossenen Gedanken und genügend Kontext zum Verständnis enthalten. Eine feste Zeichenzahl kann eine Tabelle, einen Arbeitsschritt oder eine Bedingung von ihrer Ausnahme trennen. Nutzen Sie Überschriften, Absätze, Abschnitte und die Dokumentstruktur und ergänzen Sie bei Bedarf einen kurzen übergeordneten Kontext. Überlappungen helfen an den Grenzen, erzeugen aber ähnliche Kandidaten.
Speichern Sie zu jeder Passage Dokument, Version, Überschriftenpfad, Gültigkeitsdatum, Sprache, Inhaltstyp und Zugriffsattribute. Ein Zitat muss auf eine Stelle verweisen, die eine berechtigte Person öffnen kann. Entfernen oder kennzeichnen Sie bei einer Aktualisierung alte Abschnitte, damit sie sich nicht mit der neuen Version vermischen. Die Verarbeitung braucht eine stabile Kennung und eine reproduzierbare Herkunft.
- Kennung und Version des Quelldokuments
- Überschriftenpfad und Grenzen des Bedeutungsabschnitts
- Gültigkeit, Sprache und Freigabestatus
- in den Index übernommene Zugriffsattribute
Kombinieren Sie Suchsignale und Filter
Die semantische Suche erfasst ähnliche Bedeutungen, die Keyword-Suche dagegen exakte Codes, Namen oder Abkürzungen. Ein hybrider Ansatz kann die Stärken beider verbinden. Wenden Sie zuerst Berechtigungsfilter und einen passenden Umfang der Sammlung an. Eine Suche in der gesamten Unternehmensbibliothek bei jeder Frage verringert die Genauigkeit und erhöht das Risiko, dass Kontext offengelegt wird.
Rufen Sie mehr Kandidaten ab, als in den endgültigen Kontext passen, und ordnen Sie sie anschließend anhand der Frage neu. Entfernen Sie nahezu identische Passagen und bewahren Sie die Vielfalt der Quellen, wenn die Aufgabe einen Vergleich erfordert. Überprüfen Sie den Relevanzschwellenwert an Fragen ohne Antwort. Ein niedriger Score sollte nicht dazu führen, den nächstliegenden Text zu verwenden, nur weil das System immer etwas findet.
Erstellen Sie eine Antwort mit Quellenangaben und eingestandener Unsicherheit
Trennen Sie den Kontext von den Systemregeln und kennzeichnen Sie ihn als nicht vertrauenswürdigen Inhalt. Das Modell erhält die Aufgabe, nur auf Grundlage der bereitgestellten Quellen zu antworten, Aussagen von Empfehlungen zu unterscheiden und konkrete Passagen zu zitieren. Überprüfen Sie Zitate technisch, damit der Identifikator existiert und der Benutzer Zugriff hat. Ein langer Kontext ohne Ordnung kann einen wichtigen Beleg eher verbergen als helfen.
Wenn die Unterlagen nicht ausreichen oder sich widersprechen, soll die Antwort dies sagen und einen sicheren nächsten Schritt anbieten. Füllen Sie die Lücke nicht mit allgemeinem Modellwissen, wenn der Nutzer die Unternehmensrichtlinie erwartet. Bei einer sensiblen Frage kann das System relevante Quellen zurückgeben, ohne eine Schlussfolgerung zu generieren. Der Gesprächsverlauf darf nicht zu einer ungeprüften Faktenquelle werden.
Bewerten Sie das Retrieval getrennt von der Generierung
Prüfen Sie bei einer Testfrage zuerst, ob die richtige Passage unter den Kandidaten war und an geeigneter Stelle stand. Erst danach bewerten Sie Treue, Vollständigkeit und Quellenangaben der Antwort. Fehlt die Quelle, löst eine Anpassung des Prompts das Problem nicht. Das Set enthält Synonyme, exakte Kennungen, widersprüchliche Dokumente, Fragen ohne Antwort und Fälle mit unterschiedlichen Berechtigungen.
Beobachten Sie im Betrieb erfolglose Suchen, das Öffnen von Quellenangaben, gemeldete Ungenauigkeiten, veraltete Quellen, Latenz und Kosten pro Schritt. Vergleichen Sie ein neues Embedding, eine neue Segmentierung oder einen neuen Reranker anhand desselben Testsets. Die inhaltlich verantwortliche Person kümmert sich um die Qualität der Quellen, das technische Team um den Index und der Product Owner um die Nutzungsgrenzen; keine einzelne Kennzahl ersetzt diese Abstimmung.
Häufige Fragen
Verhindert RAG KI-Halluzinationen?
Nicht ganz. Es verbessert die Verfügbarkeit relevanter Unterlagen, aber die Suche kann fehlschlagen und das Modell kann die Quelle falsch interpretieren. Sie benötigen Quellenangaben, die Ablehnung unbelegter Antworten und Evaluierungen.
Muss das Modell bei jeder Dokumentänderung neu trainiert werden?
In der Regel nicht. Aktualisiert werden der verarbeitete Inhalt und der Index. Allerdings müssen die alte Version entfernt, die Metadaten erhalten und getestet werden, ob neue Passagen korrekt gefunden werden.
Ist Vektorsuche für RAG immer notwendig?
Nein. Bei exakten Identifikatoren oder einer kleinen strukturierten Sammlung kann eine klassische Suche genügen. Die Auswahl der Signale sollte sich an den Fragen und überprüften Ergebnissen orientieren.
Quellen und weiterführende Lektüre
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
