Proč naše AI raději řekne, že neví
Jazykový model, který si odpověď domyslí, je ve firmě nebezpečnější než model, který přizná, že odpověď v podkladech nenašel.
Firmu, která poprvé zkouší jazykový model, obvykle nadchne rychlost a brzy nato vyděsí jistota. Model odpoví na cokoli, vždycky sebevědomě a většinou správně. Potíž je v tom „většinou“. Z odpovědi nepoznáte, jestli model právě stojí na dokumentu, nebo na tom, co statisticky bývá pravda.
V marketingovém textu vám to nevadí. Ve chvíli, kdy asistent odpovídá zákazníkovi na dotaz k reklamační lhůtě, to vadí hodně.
Halucinace vzniká v návrhu systému
Jazykový model je stroj na pravděpodobné pokračování textu. Když mu položíte otázku, ke které v kontextu nemá podklad, model se nezastaví a vyrobí odpověď, která vypadá nejpravděpodobněji. Z jeho pohledu se chová správně. Pro vaši firmu je to výmysl, který model podá stejným tónem jako fakt.
Řešení proto hledáme o patro výš, ve vrstvě nad modelem. V ní nastavujeme, s čím model smí pracovat a co smí poslat ven.
Pravidla, podle kterých model odpoví sám nebo dotaz předá člověku, si nastavujete vy.
Čtyři pojistky, které používáme
V jazykových modelech Crainium prochází každá odpověď čtyřmi kontrolami. Samy o sobě jsou to známé postupy. Teprve když použijeme všechny čtyři, můžete model pustit k zákazníkům.
- Vyhledávání jen ve vašich datech (RAG, retrieval-augmented generation). Model jako zdroj nepoužívá internet ani obecné znalosti. Odpovídá z dokumentů, které jste mu dali, a z ničeho jiného.
- Povinná citace. Každé tvrzení musí ukázat na konkrétní úsek zdroje. Když systém zdroj nedohledá, tvrzení z odpovědi vypustí.
- Práh jistoty. Systém každé odpovědi přidělí skóre jistoty. Pod nastaveným prahem ji neodešle. Práh si volíte podle toho, jak kritickou agendu model obsluhuje.
- Předání člověku. Když systém odpověď nepustí ven, předá dotaz konkrétnímu člověku, kterého určíte, i s tím, co už našel. Kolega, který dotaz převezme, tak nezačíná od nuly.
Co přísnější nastavení změní v provozu
Přísnější nastavení znamená, že systém sám odpoví na méně dotazů. Vypadá to jako zhoršení, dokud se nepodíváte na druhou stranu rovnice: ubude odpovědí, které musí někdo opravovat. Když vaši kolegové musí po modelu odpovědi předělávat, přestanou mu věřit.
Na začátku pilotu proto nastavíme práh vysoko. Systém předává lidem hodně dotazů a my sledujeme, které z nich předal zbytečně. Podle toho doplníme zdroje a teprve potom práh postupně snižujeme.
Proč o tom píšeme
Větu „naše AI nehalucinuje“ dnes napíše na web kdokoli a o systému se z ní nic nedozvíte. Ptejte se, jaký mechanismus za ní stojí a jestli vám ho dodavatel vysvětlí a nechá změřit. Ten náš popisujeme i na stránce o jazykovém modelu nad firemními dokumenty a rádi vám ho ukážeme.