Overenie faktov a halucinácie AI | AI v podnikaní #110

Vo svete umelej inteligencie sa niekedy hranice medzi fikciou a realitou rozmazávajú. Zatiaľ čo inovatívne systémy AI urýchľujú pokrok takmer vo všetkých oblastiach, prinášajú aj výzvy, ako sú halucinácie – fenomén, pri ktorom AI generuje nepresné alebo falošné informácie. Aby sme plne využili potenciál tejto technológie, musíme pochopiť halucinácie a overovanie faktov.

Čo sú halucinácie AI?

Halucinácie AI sú falošné alebo zavádzajúce výsledky generované modelmi AI. Tento fenomén má svoje korene v srdci strojového učenia – procese, v ktorom algoritmy používajú obrovské množstvá dát, alebo tréningové dáta, na rozpoznávanie vzorov a generovanie odpovedí podľa pozorovaných vzorov.

Aj najpokročilejšie modely AI nie sú bezchybné. Jednou z príčin halucinácií je nedokonalosť tréningových dát. Ak je dátový súbor nedostatočný, neúplný alebo zaujatý, systém sa naučí nesprávne korelácie a vzory, čo vedie k produkcii falošného obsahu.

Napríklad si predstavte model AI na rozpoznávanie tváre, ktorý bol trénovaný predovšetkým na fotografiách belochov. V takom prípade môže mať algoritmus problémy správne identifikovať ľudí z iných etnických skupín, pretože nebol správne “trénovaný” v tomto ohľade.

Ďalšou príčinou halucinácií je pretrénovanie, ktoré nastáva, keď sa algoritmus prispôsobí príliš úzko tréningovému dátovému súboru. V dôsledku toho stráca schopnosť generalizovať a správne rozpoznávať nové, predtým neznáme vzory. Takýto model dosahuje dobré výsledky na tréningových dátach, ale zlyháva v reálnych, dynamických podmienkach.

Napokon, halucinácie môžu byť výsledkom chybných predpokladov alebo nedostatočnej architektúry modelu. Ak dizajnéri AI zakladajú svoje riešenie na chybných predpokladoch alebo používajú nesprávnu algoritmickú štruktúru, systém v snahe “zhodovať” tieto chybných predpoklady s reálnymi dátami generuje falošný obsah.

Zdroj: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Príklady halucinácií

Vplyv halucinácií AI presahuje teoretickú sféru. Čoraz častejšie sa stretávame s reálnymi, niekedy prekvapivými, prejavmi týchto halucinácií. Tu sú niektoré príklady tohto fenoménu:

• V máji 2023 právnik použil ChatGPT na prípravu žaloby, ktorá obsahovala fiktívne citácie súdnych rozhodnutí a neexistujúcich právnych precedensov. To malo vážne následky – právnik bol pokutovaný, pretože tvrdil, že nič nevedel o schopnosti ChatGPT generovať falošné informácie,
• stáva sa, že ChatGPT vytvára falošné informácie o skutočných ľuďoch. V apríli 2023 model vymyslel príbeh o údajných obťažovaniach študentov zo strany profesora práva. V inom prípade falošne obvinil austrálskeho starostu z prijímania úplatkov, keď v skutočnosti bol whistleblowerom, ktorý odhaľoval takéto praktiky.

Toto nie sú izolované prípady – generatívne modely AI často vymýšľajú historické “fakty”, napríklad poskytujú falošné záznamy o prechode cez Lamanšský prieliv. Čo je viac, môžu každý raz vytvoriť úplne iné falošné informácie na rovnakú tému.

Halucinácie AI však nie sú len problémom chybných dát. Môžu mať aj bizarné, znepokojujúce formy, ako v prípade Bingu, ktorý vyhlásil, že je zamilovaný do novinára Kevina Roose. To ukazuje, že účinky týchto anomálií môžu presahovať jednoduché faktické chyby.

Napokon, halucinácie môžu byť úmyselne vyvolané špeciálnymi útokmi na systémy AI, známych ako adversariálne útoky. Napríklad, mierna zmena fotografie mačky spôsobila, že systém na rozpoznávanie obrázkov ju interpretoval ako …. “guacamole.” Tento typ manipulácie môže mať vážne následky v systémoch, kde je presné rozpoznávanie obrázkov kľúčové, ako v autonómnych vozidlách.

Ako predchádzať halucináciám?

Nap despite the scale of the challenge posed by AI hallucinations, there are effective ways to combat the phenomenon. Kľúčom je komplexný prístup, ktorý kombinuje:

• kvalitné tréningové dáta,
• relevantné príkazy, t.j. príkazy pre AI,
• priamym poskytovaním znalostí a príkladov na použitie AI,
• neustálou kontrolou zo strany ľudí a samotnej AI na zlepšenie systémov AI.

Príkazy

Jedným z kľúčových nástrojov v boji proti halucináciám sú správne štruktúrované príkazy, alebo príkazy a inštrukcie dané modelu AI. Často stačia malé zmeny vo formáte príkazu na výrazné zlepšenie presnosti a spoľahlivosti generovaných odpovedí.

Vynikajúcim príkladom toho je Claude 2.1 od Anthropic. Zatiaľ čo použitie dlhého kontextu dalo 27% presnosť bez relevantného príkazu, pridanie vety “Tu je najrelevantnejšia veta z kontextu: ” do príkazu zvýšilo účinnosť na 98%.

Takáto zmena prinútila model sústrediť sa na najrelevantnejšie časti textu, namiesto generovania odpovedí na základe izolovaných viet, ktoré boli vytrhnuté z kontextu. To zdôrazňuje dôležitosť správne formulovaných príkazov pri zlepšovaní presnosti systémov AI.

Vytváranie podrobných, špecifických príkazov, ktoré nechávajú AI čo najmenej priestoru na interpretáciu, tiež pomáha znižovať riziko halucinácií a uľahčuje overovanie faktov. Čím jasnejší a špecifickejší je príkaz, tým nižšia je šanca na halucináciu.

Príklady

Okrem efektívnych príkazov existuje mnoho ďalších metód na zníženie rizika halucinácií AI. Tu sú niektoré z kľúčových stratégií:

• používanie kvalitných, rozmanitých tréningových dát, ktoré spoľahlivo reprezentujú skutočný svet a možné scenáre. Čím bohatšie a kompletné sú dáta, tým nižšie je riziko, že AI vygeneruje falošné informácie,
• používanie dátových šablón ako vodítka pre odpovede AI – definovanie prijateľných formátov, rozsahov a štruktúr výstupu, čo zvyšuje konzistenciu a presnosť generovaného obsahu,
• obmedzenie zdrojov dát len na spoľahlivé, overené materiály od dôveryhodných subjektov. Tým sa eliminuje riziko, že model “naučí” informácie z neistých alebo falošných zdrojov.

Neustále testovanie a zdokonaľovanie systémov AI, založené na analýze ich skutočného výkonu a presnosti, umožňuje priebežné opravy akýchkoľvek nedostatkov a umožňuje modelu učiť sa z chýb.

Kontext

Správne definovanie kontextu, v ktorom systémy AI fungujú, zohráva tiež dôležitú úlohu pri prevencii halucinácií. Účel, na ktorý bude model použitý, ako aj obmedzenia a zodpovednosti modelu, by mali byť jasne definované.

Takýto prístup umožňuje nastaviť jasný rámec, v ktorom môže AI fungovať, čím sa znižuje riziko, že “vymyslí” neželané informácie. Dodatočné ochrany môžu byť poskytnuté použitím filtrovacích nástrojov a nastavením prahových hodnôt pravdepodobnosti pre prijateľné výsledky.

Uplatnenie týchto opatrení pomáha vytvárať bezpečné cesty, ktorými sa AI môže uberať, čím sa zvyšuje presnosť a spoľahlivosť obsahu, ktorý generuje pre konkrétne úlohy a oblasti.

Zdroj: Ideogram, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Overovanie faktov. Ako overiť výsledky práce s AI?

Bez ohľadu na to, aké opatrenia sú prijaté, určitý počet halucinácií zo strany systémov AI je bohužiaľ nevyhnutný. Preto je kľúčovým prvkom, ktorý zaručuje spoľahlivosť získaných výsledkov, overovanie faktov – proces overovania faktov a údajov generovaných AI.

Kontrola výsledkov AI na presnosť a konzistenciu s realitou by mala byť považovaná za jeden z hlavných ochranných mechanizmov proti šíreniu falošných informácií. Ľudské overovanie pomáha identifikovať a opraviť akékoľvek halucinácie a nepresnosti, ktoré algoritmy nemohli odhaliť samy.

V praxi by malo byť overovanie faktov cyklickým procesom, v ktorom sa pravidelne skúma obsah generovaný AI na chyby alebo sporné vyhlásenia. Akonáhle sú tieto identifikované, je potrebné nielen opraviť samotné vyhlásenie generované AI, ale aj aktualizovať, doplniť alebo upraviť tréningové dáta modelu AI, aby sa predišlo opakovaniu podobných problémov v budúcnosti.

Dôležité je, že proces overovania by nemal byť obmedzený len na jednoduché odmietanie alebo schvaľovanie sporných pasáží, ale mal by aktívne zapájať ľudských expertov s hlbokými znalosťami v danej oblasti. Iba oni môžu správne posúdiť kontext, relevantnosť a presnosť vyhlásení generovaných AI a rozhodnúť o možných opravách.

Ľudské overovanie faktov tak poskytuje potrebnú a ťažko preceňovanú “ochranu” pre spoľahlivosť obsahu AI. Kým algoritmy strojového učenia nedosiahnu dokonalosť, tento zdĺhavý, ale kľúčový proces musí zostať neoddeliteľnou súčasťou práce s riešeniami AI v akejkoľvek oblasti.

Ako profitovať z halucinácií AI?

Aj keď sú halucinácie AI vo všeobecnosti nežiaducim fenoménom, ktorý by sa mal minimalizovať, môžu nájsť prekvapivo zaujímavé a cenné aplikácie v niektorých jedinečných oblastiach. Ingeniózne využívanie kreatívneho potenciálu halucinácií ponúka nové a často úplne neočakávané perspektívy.

Umenie a dizajn sú oblasti, kde halucinácie AI môžu otvoriť úplne nové kreatívne smerovanie. Využitím tendencie modelov generovať surrealistické, abstraktné obrazy môžu umelci a dizajnéri experimentovať s novými formami vyjadrenia, rozmazávajúc hranice medzi umením a realitou. Môžu tiež vytvárať jedinečné, snové svety – predtým neprístupné ľudskej percepcii.

V oblasti vizualizácie a analýzy dát fenomén halucinácie ponúka príležitosť objaviť alternatívne perspektívy a neočakávané korelácie v komplexných súboroch informácií. Napríklad schopnosť AI odhaľovať nepredvídateľné korelácie môže pomôcť zlepšiť spôsob, akým finančné inštitúcie robia investičné rozhodnutia alebo riadia riziko.

Napokon, svet počítačových hier a virtuálnej zábavy môže tiež profitovať z kreatívnych odchýlok AI. Tvorcovia týchto riešení môžu využiť halucinácie na generovanie úplne nových, fascinujúcich virtuálnych svetov. Vtelením prvku prekvapenia a nepredvídateľnosti môžu poskytnúť hráčom neporovnateľný, pohlcujúci zážitok.

Samozrejme, akékoľvek využitie tejto “kreatívnej” stránky halucinácií AI musí byť starostlivo kontrolované a podliehať prísnej ľudskej kontrole. Inak môže tendencia vytvárať fikciu namiesto faktov viesť k nebezpečným alebo spoločensky nežiaducim situáciám. Kľúčom je preto zručne zvažovať prínosy a riziká fenoménu a zodpovedne ho využívať len v rámci bezpečného, štruktúrovaného rámca.

Overovanie faktov a halucinácie AI – zhrnutie

Vznik fenoménu halucinácií v systémoch AI je nevyhnutným vedľajším účinkom revolúcie, ktorej sme svedkami v tejto oblasti. Skreslenia a falošné informácie generované modelmi AI sú odvrátenou stranou ich obrovského kreatívneho potenciálu a schopnosti asimilovať kolosálne množstvá dát.

Pre zatiaľ je jediným spôsobom, ako overiť platnosť obsahu generovaného AI, ľudské overovanie. Aj keď existuje niekoľko metód na zníženie halucinácií, od techník príkazov po komplexné metódy ako Truth Forest, žiadna z nich zatiaľ nemôže poskytnúť uspokojivú presnosť odpovedí, ktorá by eliminovala potrebu overovania faktov.

Ak sa vám náš obsah páči, pridajte sa k našej komunite usilovných včiel na Facebooku, Twitteri, LinkedIn, Instagrame, YouTube, Pinterest, TikTok.