Zeptáte se AI na konkrétní zákon, statistiku nebo odbornou citaci a dostanete odpověď, která zní naprosto přesvědčivě. Problém je, že velké jazykové modely negenerují pravdu – generují nejpravděpodobnější pokračování textu. Model počítá, jaké slovo nejspíš následuje po tom předchozím, a skládá tak větu za větou. Proto zní vždy plynule a sebejistě, i když se plete. Tomuto jevu se říká halucinace.
Že to není jen teoretický problém, ukázal reálný případ. V roce 2023 použil americký advokát v soudním sporu Mata v. Avianca nástroj ChatGPT k přípravě podání. Model mu vygeneroval několik neexistujících soudních případů – i s vymyšlenými citacemi a odkazy na precedenty. Advokát je v dobré víře předložil soudu, ten si je chtěl ověřit a zjistil, že žádný z nich neexistuje. Právník za to čelil sankci. AI si prostě vymyslela to, co v jejích datech chybělo.
Proč AI halucinuje
Halucinace není chyba ani porucha – je to přirozený důsledek toho, jak modely fungují. Stojí za ní tři věci:
- Předpovídá slova podle pravděpodobnosti. Model nemá žádnou vestavěnou „databázi pravdy", se kterou by si odpověď ověřoval. Skládá text, který statisticky nejlépe zapadá do kontextu – ne text, který je nutně pravdivý.
- Je trénovaná vždycky odpovědět. Modely jsou vedené k tomu, aby byly užitečné a pohotové. „Nevím" proto říkají nerady – místo přiznání nejistoty raději nabídnou odpověď, která vypadá kompetentně.
- Mezery v datech vyplní odhadem. Když v tréninkových datech chybí konkrétní informace, model ji nenechá prázdnou. Doplní ji nejpravděpodobnějším odhadem – a ten může znít úplně věrohodně, přestože je smyšlený.
Kde je to nejnebezpečnější
Halucinace nejsou stejně rizikové všude. U obecného brainstormingu nebo přeformulování textu vám příliš neublíží. Nebezpečné začínají být tam, kde na přesnosti záleží:
- Konkrétní čísla a statistiky. Procenta, částky, roky, počty – model je klidně „zaokrouhlí" nebo vymyslí tak, aby seděly do věty.
- Citace, zdroje a URL. Modely rády vytvoří odkaz, který vypadá jako pravý, ale nikam nevede, nebo přisoudí výrok člověku, který ho nikdy neřekl.
- Právní, zdravotní a finanční fakta. Přesně tady vznikl případ Mata v. Avianca. Chybná informace tu nemá jen kosmetické následky, ale reálné právní a finanční dopady.
- Méně obvyklá témata a čerstvé události. Čím okrajovější nebo novější téma, tím méně dat model měl – a tím větší prostor pro dohady. O úplně nedávných událostech nemusí vědět vůbec nic.
Jak halucinace odhalit a omezit
Dobrá zpráva je, že se proti halucinacím dá bránit. Nemusíte AI přestat používat – stačí si zvyknout na pár návyků:
- Ověřujte fakta i odkazy. U každého důležitého čísla nebo zdroje udělejte rychlou kontrolu. Klikněte na odkaz – existuje? Vede opravdu tam, kam má? Pokud model cituje studii, dohledejte si ji.
- Ptejte se „z čeho čerpáš a jak jsi si jistý?" Přímý dotaz na zdroj a míru jistoty často odhalí, že model odpověď jen odhadl. Nejistotu tím vytáhnete na povrch.
- Dejte AI vlastní podklady. Nahrajte modelu svůj dokument, ceník nebo smlouvu a požádejte ho, ať odpovídá jen z něj. Když má konkrétní zdroj, výrazně méně si vymýšlí.
- Požádejte, ať přizná nejistotu. Do zadání napište pokyn typu: „Pokud si nejsi jistý nebo informaci nemáš, řekni to otevřeně místo odhadu." Modely se pak k „nevím" uchýlí ochotněji.
- U aktuálních dat používejte modely s vyhledáváním. Pro čerstvé události a ověřitelná fakta volte nástroj, který umí hledat na internetu a doloží odpověď reálnými odkazy.
Halucinace nejsou důvod se AI vyhýbat – jsou důvod ji používat chytře. Umělá inteligence je skvělý asistent, ale ne vševědoucí orákulum. Vezměte její výstupy jako dobrý první návrh, ne jako ověřenou pravdu. Klasické pravidlo platí i tady: důvěřuj, ale ověřuj. Kdo si na to zvykne, získá z AI ohromnou hodnotu bez zbytečných rizik.
Zdroj: soudní případ Mata v. Avianca (USA), 2023.