Miért téved az AI?

Érdekes Adatok portál > Végre értem > Technológia > Miért téved az AI?

Miért téved az AI?

Az AI egyik legfurcsább tulajdonsága, hogy akkor is képes meggyőzően válaszolni, amikor a válasza nem igaz. A mondat lehet gördülékeny, pontosnak tűnő és magabiztos — miközben maga az állítás hibás.

Ez elsőre ellentmondásnak látszik. Ha egy rendszer ennyire jól használja a nyelvet, nem kellene azt is tudnia, hogy amit mond, igaz-e?

A kulcs az, hogy a jó megfogalmazás és a tényszerű helyesség két külön tulajdonság.

Mit csinál valójában egy nyelvi modell?

Egy modern nyelvi modell működésének egyik központi része, hogy a tanulás során hatalmas mennyiségű szövegben fedez fel mintázatokat, majd válaszadáskor ezek alapján állítja elő a következő szövegrészt. Ezt leegyszerűsítve gyakran úgy mondjuk: a modell a következő tokent próbálja előre jelezni. A token lehet egy szó, egy szórészlet vagy más kisebb szövegegység.

Ez azonban nem azt jelenti, hogy a modell minden válasz előtt lekérdez egy belső, hibátlan tényadatbázist. A szöveg előállításának mechanizmusa és a valóság ellenőrzése nem ugyanaz a feladat.

Fontos ugyanakkor az ellenkező végletet is elkerülni: a modellben lehet tényszerű információ reprezentálva. A probléma az, hogy ennek az információnak a pontos elérése nem garantált minden kérdésnél.

Akkor honnan jön a hibás válasz?

Képzelj el egy kérdést, amelyre a modell egy olyan választ állít elő, amely nyelvileg teljesen rendben van. A mondat szerkezete jó, a szavak természetesek, a válasz illik a kérdéshez. Ettől azonban még nem következik, hogy a benne szereplő tény is helyes.

A nyelvi folyamatosság ugyanis önmagában nem bizonyíték. A modell olyan kimenetet is előállíthat, amely jól illeszkedik a tanult nyelvi mintázatokhoz, de egy konkrét állítás szintjén téves.

Ez különösen akkor lehet problémás, amikor ritka, nehezen kikövetkeztethető vagy kevésbé stabil információról van szó. A kutatások szerint a tanulási adatokban meglévő emberi tévhitek is megjelenhetnek a modellek válaszaiban. A TruthfulQA például kifejezetten azt vizsgálta, hogy a modellek mennyire hajlamosak olyan kérdésekre is téves válaszokat adni, amelyekre a hétköznapi emberi tévhitek miatt könnyű rosszul felelni.

Miért hangzik mégis olyan biztosnak?

Itt van a második fontos különbség: a válasz hangvétele nem azonos a válasz bizonyosságával.

Egy modell megfogalmazhat valamit határozottan anélkül, hogy a határozott hang mögött ugyanolyan erős tényszerű bizonyosság állna. A kutatások ezt kalibrációs problémaként is vizsgálják: mennyire felel meg a modell által jelzett bizonyosság annak, hogy a válasz ténylegesen helyes.

Ezért a „biztosan így van” hangulatából nem következik, hogy az állítás ellenőrzött.

De hát a modellben ott van a tudás, nem?

Részben igen — és éppen ezért félrevezető lenne azt mondani, hogy a modell egyszerűen „semmit sem tud”. A tanulás során tényszerű információ is reprezentálódhat a paraméterekben.

Csakhogy a reprezentált tudás nem ugyanaz, mint egy mindig pontosan és frissíthetően lekérdezhető adatbázis.

Egy konkrét kérdésnél számít, hogy az adott információ mennyire volt jelen a tanulási anyagban, mennyire egyértelműek a mintázatok, mennyire ritka az adott tény, és milyen körülmények között történik a generálás. Ezért lehet egy modell általánosságban nagyon jó, miközben egy-egy konkrét állítást mégis elront.

Mi változik, ha külső forrást is használ?

Itt lép be a retrieval, vagyis a külső információ visszakeresése, illetve a retrieval-augmented generation, röviden RAG, magyarul visszakereséssel kiegészített generálás. Ennek lényege, hogy a rendszer a generálás előtt vagy közben külső információt keres vissza, és ezt a szöveges kontextust is felhasználja a válaszhoz.

Ez fontos különbség: a rendszer nem kizárólag a paramétereiben tárolt információra támaszkodik, hanem külső forrást is bevonhat.

De a retrieval sem varázslat. Attól, hogy egy rendszer hozzáfér egy forráshoz, még nem következik automatikusan, hogy helyesen választja ki, értelmezi vagy használja fel azt. A külső információ csökkentheti bizonyos hibák kockázatát, de nem teszi a rendszert tévedhetetlenné.

A „hallucináció” nem egyetlen hiba

Az AI hibás, de hihető kimeneteire gyakran a „hallucináció” szót használjuk. Ez hasznos rövidítés, de nem szabad úgy kezelni, mintha minden ilyen hiba ugyanabból az egyetlen mechanizmusból származna.

Többféle tényező játszhat szerepet: a tanult mintázatok, a ritka vagy bizonytalan tudás, a generálás körülményei, a források hiánya vagy használata, illetve az is, hogy a modell mennyire képes a saját bizonytalanságát megfelelően jelezni.

Ezért pontosabb azt mondani: a modell képes hihető, de tényszerűen hibás állításokat előállítani — és ennek többféle oka lehet.

Ami igazán megtévesztő benne

Talán nem is maga a tévedés a legfurcsább, hanem az, hogy a tévedés és a helyes válasz nyelvileg nagyon hasonló lehet.

Egy helyes válasz és egy hibás válasz is lehet ugyanolyan folyékony, rendezett és magabiztos.

Ezért a nyelvi minőségből nem lehet visszakövetkeztetni a tényszerű minőségre. A jó mondat azt mutatja, hogy a rendszer jól állította elő a mondatot. Nem azt, hogy a mondat állítása igaz.

Mit érdemes ebből megjegyezni?

Ha egy AI-válasz nagyon jól hangzik, az még csak azt jelenti, hogy jól hangzik.

Azt, hogy igaz-e, más módon kell eldönteni. A külső források és a retrieval sokat segíthetnek, de a nyelvi koherencia önmagában nem helyettesíti a tények ellenőrzését.

Ez a különbség azért fontos, mert az AI egyik legerősebb képessége — a természetes nyelv előállítása — egyben könnyen félrevezetővé is teheti a hibás válaszokat.

Végre értem

Az AI nagyon jó lehet abban, hogy valami igaznak hangozzon. Ettől még nem biztos, hogy igaz.
A lényeg nem az, hogy az AI „hazudik-e”. A lényeg az, hogy a meggyőző nyelv és az ellenőrzött igazság két külön dolog.

Források