Grenzen Sie die Fragen und zulässigen Quellen ein, stellen Sie dem Modell relevanten Kontext bereit und verlangen Sie Aussagen mit überprüfbaren Quellenangaben. Fehlende Daten soll es als unbekannt kennzeichnen. Validieren Sie die Ausgabe mit Regeln oder einem maßgeblichen Werkzeug, leiten Sie risikobehaftete Fälle an einen Menschen weiter und messen Sie Fehler an einem repräsentativen Datensatz.
Eine Halluzination ist eine Ausgabe, die überzeugend wirkt, aber keine Grundlage in den verfügbaren Fakten hat oder deren Bedeutung falsch verknüpft. Es kann sich um eine erfundene Angabe, ein falsches Zitat, eine Schlussfolgerung aus unzureichendem Kontext oder das Ergänzen eines fehlenden Feldes handeln. Ein Sprachmodell lässt sich nicht durch einen einfachen Satz im Prompt dazu bringen, stets wahrheitsgemäß zu sein.
Das Risiko wird durch das gesamte Systemdesign verringert: einen engen Zweck, maßgebliche Quellen, eine geeignete Suche, technische Validierung und die Möglichkeit, nicht zu antworten. Der Benutzer muss einen generierten Vorschlag von einem bestätigten Eintrag unterscheiden und den Nachweis öffnen können. Bei einer wesentlichen Entscheidung bleibt ein Prüf- oder Freigabeschritt außerhalb des freien Modelltexts erforderlich.
Benennen Sie die konkrete Art der unbelegten Ausgabe
Bei der Extraktion kann das Modell ein Feld ergänzen, das im Dokument nicht enthalten ist. Bei RAG kann es zwei korrekte Passagen zu einer falschen Schlussfolgerung verbinden. Bei der Zusammenfassung macht es aus einem Vorschlag eine Entscheidung, und beim Tool Calling erfindet es eine Kennung. Jeder Typ erfordert eine andere Kontrolle. Eine allgemeine Halluzinationsmetrik ohne Arbeitskontext sagt nicht, was das Team beheben soll.
Unterscheiden Sie einen Fehler des Modells von einer falschen oder veralteten Quelle. Enthalten maßgebliche Dokumente einen Widerspruch, soll das System ihn nicht zu einer einzigen Antwort glätten. Ein Fehler kann auch durch eine falsche Aufteilung des Textes, einen fehlenden Filter oder einen verzerrten Gesprächsverlauf entstehen. Die Diagnose bewahrt daher die Version der Eingabe, des Retrievals, des Prompts und der Regeln.
Grenzen Sie die Aufgabe ein und geben Sie dem Modell relevanten Kontext
Legen Sie Domäne, Zielgruppe, zeitliche Gültigkeit und Ausgabeform genau fest. Ein Assistent für einen internen Ablauf sollte eine Rechtsfrage außerhalb der Wissensbasis nicht aus allgemeinem Wissen beantworten. Stellen Sie nur die für die Antwort nötigen Passagen bereit, mit klarer Herkunft und Vertrauensrangfolge. Zu viel unzusammenhängender Text kann die Gefahr falscher Verknüpfungen erhöhen.
Testen Sie die Suche separat. Wenn die richtige Quelle nicht unter den Kandidaten ist, kann das Modell sie nicht zuverlässig nutzen. Bei einer Frage ohne Grundlage muss das Retrieval einen Status zurückgeben, der zu einer Ablehnung oder einer Rückfrage führt. Die nächstgelegene Passage ist nicht automatisch relevant. Kennzeichnen Sie widersprüchliche Versionen und legen Sie den Vorrang über eine Regel außerhalb des Modells fest.
- klar zugelassene Domain und Art der Fragen
- aktuelle Quelle mit Verantwortlichem und Gültigkeit
- Zitat, das an eine konkrete Passage gebunden ist
- Status bei unzureichender Grundlage oder bei einem Konflikt
- sicherer nächster Schritt für den Nutzer
Gestalten Sie eine Ausgabe, die Unsicherheit eingestehen kann
Das Schema enthält eine explizite Option für unbekannt, unzureichende Quelle oder Prüfung erforderlich. Wenn jedes Pflichtfeld einen Wert verlangt, wird das Modell dazu verleitet, etwas zu ergänzen. Trennen Sie zitierte Fakten, Berechnungen, Empfehlungen und offene Fragen. Bewahren Sie bei Datumsangaben oder Beträgen sowohl den ursprünglichen Wert als auch die Normalisierung auf, damit sich die Transformation überprüfen lässt.
Verlangen Sie bei Behauptungen Quellenangaben, prüfen Sie diese jedoch technisch und inhaltlich. Ein existierender Link muss den Satz, an den er angehängt ist, nicht unbedingt stützen. Die Benutzeroberfläche öffnet die Quelle an der richtigen Stelle und kennzeichnet generierte Inhalte. Zeigen Sie keine selbstbewussten Konfidenzwerte ohne Kalibrierung an, da diese das Vertrauen ohne echten Beleg erhöhen können.
Prüfen Sie mit festen Regeln und maßgeblichen Werkzeugen
Format, zulässige Werte, Arithmetik, Identität und geschäftliche Einschränkungen prüft gewöhnlicher Code. Den aktuellen Status einer Bestellung oder eines Kontos beziehen Sie aus der maßgeblichen API, nicht aus dem Modellgedächtnis. Tool Calling erfordert jedoch Validierung und Berechtigung. Das Ergebnis eines Tools sind Daten zur Verarbeitung, keine Erlaubnis, Regeln zu umgehen oder eine andere Aktion auszuführen.
Bei einer komplexeren Aussage kann ein unabhängiger Schritt prüfen, ob jeder Teil durch Quellen gestützt ist. Ein zweiter Aufruf desselben Modells ist keine unabhängige Garantie und kann den Fehler wiederholen. Leiten Sie einen kritischen Fall mit sichtbarem Beleg an eine Fachperson weiter. Die Kontrolle muss so gestaltet sein, dass der Mensch nicht einfach einem flüssigen Text vertrauen muss.
Testen Sie Ablehnungen und lernen Sie aus Vorfällen
Ein Evaluierungsset enthält Fragen mit eindeutiger Antwort, ohne Antwort, mit Widersprüchen, mit falscher Annahme sowie Anfragen außerhalb des Anwendungsbereichs. Bewerten Sie unbelegte Behauptungen, die Korrektheit von Quellenangaben, fehlende wichtige Fakten und die Qualität von Ablehnungen. Das System sollte Nutzer nicht abweisen, wenn es gefahrlos eine Rückfrage stellen oder eine relevante Quelle anzeigen kann.
Sammeln Sie im Betrieb Meldungen über Ungenauigkeiten und prüfen Sie eine Stichprobe scheinbar erfolgreicher Antworten. Verknüpfen Sie jeden Vorfall mit einer konkreten Version und klären Sie, ob die Korrektur in den Inhalt, das Retrieval, den Prompt, die Regeln oder den Produktumfang gehört. Fügen Sie bestätigte Fälle den Regressionstests hinzu. Ersetzen Sie die Marketingaussage „ohne Halluzinationen“ durch eine transparente Beschreibung der Kontrollen und Grenzen.
Häufige Fragen
Lassen sich KI-Halluzinationen vollständig verhindern?
Nicht durch eine allgemeine Einstellung. Das Risiko lässt sich durch Eingrenzung der Aufgabe, Quellen, Validierung, Ablehnung und Kontrolle deutlich verringern, das System muss jedoch fortlaufend getestet und überwacht werden.
Reicht es, das Modell zu bitten, nichts zu erfinden?
Nein. Eine Anweisung hilft nur als eine Ebene. Sie benötigen hochwertigen Kontext, die Möglichkeit, Unbekanntes zurückzumelden, technische Kontrollen, Quellenangaben und Evaluierungen anhand von Fragen ohne Grundlage.
Ist eine Antwort mit Quellenangabe immer korrekt?
Nein. Ein Zitat kann vorhanden sein und die Aussage dennoch nicht stützen oder aus einer veralteten Quelle stammen. Prüfen Sie die Berechtigung, die Gültigkeit und die inhaltliche Übereinstimmung der Passage.
Quellen und weiterführende Lektüre
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
