Ohraničte otázky a povolené zdroje, poskytněte modelu relevantní kontext a vyžadujte tvrzení s ověřitelnými citacemi. Chybějící údaje ať označí jako neznámé, výstup validujte pravidly nebo autoritativním nástrojem, rizikové případy předejte člověku a chyby měřte na reprezentativní sadě.
Halucinace je výstup, který působí přesvědčivě, ale nemá oporu v dostupných faktech nebo nesprávně spojuje jejich význam. Může jít o vymyšlený údaj, falešnou citaci, závěr z nedostatečného kontextu či doplnění chybějícího pole. Jazykový model nelze jednoduchou větou v promptu přimět, aby byl vždy pravdivý.
Riziko se snižuje celým návrhem systému: úzkým účelem, autoritativními zdroji, vhodným vyhledáváním, technickou validací a možností neodpovědět. Uživatel musí rozlišit vygenerovaný návrh od potvrzeného záznamu a umět otevřít důkaz. U významného rozhodnutí zůstává nezbytný ověřovací nebo schvalovací krok mimo volný text modelu.
Pojmenujte konkrétní typ nepodloženého výstupu
Při extrakci může model doplnit pole, které dokument neobsahuje. Při RAG může spojit dvě správné pasáže do nesprávného závěru. Při sumarizaci změní návrh na rozhodnutí a při tool callingu si vymyslí identifikátor. Každý typ potřebuje jinou kontrolu. Obecná metrika halucinací bez pracovního kontextu neřekne, co má tým opravit.
Rozlišujte chybu modelu od nesprávného nebo zastaralého zdroje. Pokud autoritativní dokumenty obsahují rozpor, systém ho nemá uhlazovat do jedné odpovědi. Chyba může vzniknout i nesprávným rozdělením textu, chybějícím filtrem či zkreslenou historií konverzace. Diagnostika proto uchovává verzi vstupu, vyhledávání, promptu a pravidel.
Ohraničte úlohu a dejte modelu relevantní kontext
Přesně určete doménu, publikum, časovou platnost a formu výstupu. Asistent pro interní postup nemá odpovídat na právní otázku mimo bázi na základě obecných znalostí. Poskytněte pouze pasáže potřebné k odpovědi, s jasným původem a pořadím důvěryhodnosti. Příliš mnoho nesouvisejícího textu může zvýšit pravděpodobnost nesprávného spojení.
Vyhledávání otestujte samostatně. Pokud správný zdroj není mezi kandidáty, model jej nemůže spolehlivě použít. U otázky bez podkladů musí retrieval vrátit stav, který vede k odmítnutí nebo doplňující otázce. Nejbližší pasáž není automaticky relevantní. Konfliktní verze označte a přednost určete pravidlem mimo model.
- jasně povolená doména a typ otázek
- aktuální zdroj s vlastníkem a platností
- citace vázaná na konkrétní pasáž
- stav bez dostatečného podkladu nebo při konfliktu
- bezpečný další krok pro uživatele
Navrhněte výstup, který dokáže přiznat nejistotu
Schéma má explicitní možnost neznámé, nedostatečný zdroj nebo nutná kontrola. Pokud každé povinné pole vyžaduje hodnotu, bude model motivován něco doplnit. Oddělte citovaný fakt, výpočet, doporučení a otevřenou otázku. U data či částky zachovejte původní hodnotu i normalizaci, aby bylo možné zkontrolovat transformaci.
U tvrzení vyžadujte citace, ale ověřte je technicky i významově. Existující odkaz nemusí podporovat větu, ke které je připojen. Uživatelské rozhraní otevře zdroj na správném místě a označí generovaný obsah. Nezobrazujte skóre jistoty bez kalibrace, protože může zvýšit důvěru bez reálného důkazu.
Ověřujte pevnými pravidly a autoritativními nástroji
Formát, povolené hodnoty, aritmetiku, identitu a obchodní omezení kontroluje běžný kód. Aktuální stav objednávky nebo účtu získejte z autoritativního API, nikoli z paměti modelu. Tool calling však potřebuje validaci a oprávnění. Výsledek nástroje jsou data ke zpracování, nikoli povolení obejít pravidla nebo provést jinou akci.
U složitějšího tvrzení může nezávislý krok ověřit, zda má každá část oporu ve zdrojích. Druhé volání stejného modelu není nezávislá záruka a může chybu zopakovat. Kritický případ předejte odborníkovi s viditelným důkazem. Kontrola musí být navržena tak, aby člověk nemusel pouze věřit plynulému textu.
Testujte odmítnutí a učte se z incidentů
Evaluační sada obsahuje otázky s jasnou odpovědí, bez odpovědi, s konfliktem, falešným předpokladem a požadavkem mimo rozsah. Hodnoťte nepodložená tvrzení, správnost citací, chybějící důležitá fakta a kvalitu odmítnutí. Systém nemá uživatele odbýt, když může bezpečně položit doplňující otázku nebo ukázat relevantní zdroj.
V provozu sbírejte hlášení nepřesností a kontrolujte vzorek zdánlivě úspěšných odpovědí. Incident propojte s konkrétní verzí a určete, zda oprava patří do obsahu, retrievalu, promptu, pravidel nebo rozsahu produktu. Potvrzený případ přidejte do regresních testů. Marketingové tvrzení o absenci halucinací nahraďte transparentním popisem kontrol a limitů.
Časté dotazy
Dá se halucinacím AI zcela zabránit?
Ne obecným nastavením. Riziko lze výrazně omezit vymezením úlohy, zdroji, validací, odmítnutím a kontrolou, systém je však třeba průběžně testovat a monitorovat.
Stačí model požádat, aby si nevymýšlel?
Ne. Pokyn pomáhá jen jako jedna vrstva. Potřebujete kvalitní kontext, možnost vrátit neznámou odpověď, technické kontroly, citace a evaluace na otázkách bez podkladů.
Je odpověď s citací vždy správná?
Ne. Citace může existovat, a přesto tvrzení nepodporovat nebo pocházet ze zastaralého zdroje. Ověřujte oprávnění, platnost i významový soulad pasáže.
Zdroje a další čtení
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
