Az OpenAI Whisper nevű hangátíró rendszere a közelmúltban széles körű figyelmet kapott, miután kutatók felhívták a figyelmet arra, hogy a rendszer pontatlan információkat képes generálni. Egy AP által idézett tanulmány példájában a beszélő „két másik lányról és egy hölgyről” beszélt, mire a Whisper kitalált részleteket fűzött hozzá, amivel azt állította, hogy ők „fekete bőrűek” voltak.
Más esetekben, amikor a beszéd az „Ő, a fiú, éppen ment, nem vagyok biztos benne, hogy pontosan, hogy elvigye az ernyőt” mondatot tartalmazta, a Whisper átírta azt úgy, hogy „Ő egy nagy darab keresztet vitt el, egy nagyon kis darabot… biztos vagyok benne, hogy nem volt halálos kése, így több embert megölt.” Ezek az esetek rávilágítanak, hogy a rendszer hajlamos a konfabálásra, vagyis olyan információk kitalálására, amelyek nem találhatóak meg a bemeneti adatokban.
A hallucinációk okai
Az AP jelentése megjegyzi, hogy a kutatók nem biztosak abban, hogy a Whisper és hasonló eszközök miért hallucinálnak, de a valóságban a válasz világos. A Whisper egy olyan technológián alapul, amely a következő legvalószínűbb token (adatdarab) előrejelzésére lett tervezve, a felhasználó által megadott tokenek sorozata után.
A ChatGPT esetében a bemeneti tokenek szöveges prompt formájában érkeznek, míg a Whispernél a bemenet tokenizált hangadat. A Whisperből származó átírási eredmény a legvalószínűbb kimenetet jelenti, nem pedig a legpontosabbat.
Az adatok szerepe
A Transformer-alapú kimenetek pontossága általában arányos a tanulási adathalmazon belüli releváns pontos adatok jelenlétével, azonban ez soha nem garantálható. Ha valaha is előfordul, hogy a Whisper neurális hálózatában nem áll elegendő kontextuális információ rendelkezésre, akkor a modell arra az információra támaszkodik, amit a hangok és szavak közötti kapcsolatok tanulmányozásával tanult meg.
Érdekes tény: Az OpenAI Whisper és hasonló rendszerek fejlesztése során a kutatók folyamatosan dolgoznak a pontosság javításán, hogy a technológia minél megbízhatóbb legyen a jövőbeni alkalmazásokban.
Források: AP News, OpenAI, kutatási tanulmányok.
