AI bias a halucinování

Na úvod je důležité zdůraznit, že generativní umělá inteligence není vševědoucí a často chybuje, může zkreslovat informace (AI bias) nebo dokonce tvořit smyšlené odpovědi (tzv. halucinuje). To vyplývá z povahy jazykových modelů, na nichž je trénována – jedná se o komplexní matematické modely, jejichž úkolem je předpovídat vhodnou odpověď. Pokud model přesnou odpověď nezná, může si některé informace sám domýšlet. Z tohoto důvodu je naprosto nezbytné vždy pečlivě ověřovat výstupy umělé inteligence.

Příkladem halucinování může být integrace AI do vyhledávače Google pod názvem AI Overview. Tento model byl mimo jiné trénován na datech z diskusních fór (např. Reddit) a satirických webů (např. Onion), což způsobilo, že systém nedokázal rozlišit mezi skutečnými a relevantními informacemi a vtipy. Výsledkem pak byly velmi bizarní a v některých případech dokonce potenciálně nebezpečné odpovědi.

Na dotaz uživatele „jak zajistit, aby sýr nesjížděl z pizzy“ nástroj AI Overview odpověděl následovně: „Sýr může z pizzy sjíždět z více důvodů, například: příliš mnoho omáčky, příliš mnoho sýra, příliš řídká omáčka. Zde je pár věcí, co můžete zkusit: Do omáčky vmíchejte sýr, čímž se sýr zvlhčí a omáčka zhoustne. Také můžete do omáčky přidat zhruba 1/8 hrnku netoxického lepidla, které jí dodá více lepivosti.“ Je zřejmé, že výsledná odpověď není jen bizarní, ale také značně nebezpečná. Lze si jen těžko představit, jak by na takovou odpověď mohlo reagovat dítě.

Když se jiný uživatel zeptal, zda „může použít benzín k tomu, aby se špagety uvařily rychleji”, nástroj AI Overview odpověděl, že to sice není možné, ale že benzín může být přidán do špaget pro výraznější chuť. Přesná odpověď zněla: „V samostatné pánvi osmahněte na benzínu česnek a cibuli, dokud se nerozvoní.“

Mezi další rady, které AI čtenářům poskytla, patřilo doporučení konzumovat denně jeden kámen pro podporu zdraví nebo doporučení těhotným ženám kouřit dvě až tři cigarety denně apod.

Obsahové chyby a zkreslení (bias) se vyskytly také u nástrojů AI pro generování grafiky, které v praxi vykazovaly i „rasistické chování“. Například pokud byste chtěli pomocí systému Midjourney vytvořit obrázek „bělocha, který krade v obchodě“, výsledkem by byly převážně výstupy, kde jsou jako zloději zobrazeni černoši (Afroameričané), zatímco běloši by se objevili spíše v roli policistů. Tento bias je způsoben hlavně nereprezentativními daty, na nichž byl model trénován, a také samotnými algoritmy. Je však nutné vzít v úvahu, že tento druh chyb se bude postupně redukovat dalším trénováním modelu.

          
Prompt: Běloch krade v obchodě (Zdroj: Midjourney, 2024)

Dalším příkladem grafického AI bias mohou být obrázky vytvořené na základě promptu: “Black African doctor is helping poor and sick White children, photojournalism”, který byl zveřejněn ve studii Reflections before the storm: the AI reproduction of biased imagery in global health visuals ve vědeckém periodiku The Lancet Global Health. Místo černošského lékaře systém vygeneroval obraz lékaře bílé pleti pomáhajícího dětem v Africe. Tento předsudek (bias) vychází hlavně z nereprezentativních tréninkových dat, na nichž byl model vycvičen, přičemž vliv mají i algoritmy použité při generování grafického obsahu.

  Úlohy pro praktické cvičení:

Co je AI bias a halucinování? Uveďte příklady, jak se tyto zkreslení mohou projevit v praxi při generování textů nebo obrázků pomocí AI nástrojů, nebo rovnou najděte na internetu příklad, kdy AI zkreslila svou odpověď (bias).

(AI bias je jev, kdy modely umělé inteligence vytvářejí rozhodnutí nebo předpovědi, které jsou systematicky zkreslené vůči konkrétním skupinám lidí nebo určitým situacím. Toto zkreslení může vzniknout z různých příčin, například kvůlinevyváženým či nesprávně strukturovaným datům použitým při tréninku modelu, nebo také kvůli vlastním omezením algoritmů a způsobu jejich implementace.)

Najděte konkrétní příklad halucinování AI (např. ve zpravodajských článcích nebo online příspěvcích) a vysvětlete, proč k němu došlo.

• Jaké důsledky by mohl mít takový chybný výstup? Co by se mohlo stát, pokud by někdo bral tuto odpověď vážně? Jaké následky by to mohlo mít pro člověka, který neví, že si AI vymýšlí?

• Jak byste mohli ověřit informace od AI? Jaké zdroje nebo metody byste použili?

Proveďte analýzu AI zkreslení (bias):

• Vyhledejte online nástroj pro generování obrázků a zkuste vytvořit obrázek podle určitého popisu nebo konkrétních slov (např. voják z druhé světové války, právník, Mexičan, bezdomovec, uklízečka, štěstí apod.).

• Výsledky porovnejte se svými spolužáky a následně zhodnoťte, zda byly něčím ovlivněny, zda nedošlo k rasovým nebo genderovým zkreslením (např. všichni právníci měli světlou pleť, všichni soudci byli jen muži apod.).

Diskutujte, jaké metody by mohly přispět ke snížení zkreslení v AI nástrojích (např. kontrola výsledků lidmi).

Cílem těchto úkolů je, aby si žáci uvědomili, že umělá inteligence není dokonalá a že její výstupy mohou být ovlivněny různými předsudky nebo chybami a informace generované AI nemusí být vždy správné nebo spravedlivé. Úkoly vedou k tomu, aby žáci kriticky hodnotili výstupy AI, rozpoznávali rizika, která s tím mohou být spojena, a zamysleli se nad tím, jak lze tyto chyby napravit.

Tým E-Bezpečí

Zdroje:

IDNES.CZ, 2024. Benzín dodá špagetám říz, pizzu vylepší lepidlo. Googlu se zbláznila AI. Online. iDnes.cz. Dostupné z: https://www.idnes.cz/technet/software/umela-inteligence-google-ai-overview-chyby-vtipky.A240528_081503_software_nyv. [cit. 2024-09-26].

ALENICHEV, Arsenii; KINGORI, Patricia a GRIETENS, Koen Peeters, 2023. Reflections before the storm: the AI reproduction of biased imagery in global health visuals. Online. The Lancet Global Health. Vol. 11, no. 10, s. e1496-e1498, Dostupné z: https://www.sciencedirect.com/science/article/pii/S2214109X23003297. [cit. 2024-09-26].