Új kutatás a Columbia Journalism Review Tow Center for Digital Journalism részéről komoly pontossági problémákat tárt fel a hírek keresésére használt generatív AI modellek körében. A kutatás nyolc AI-alapú keresőeszközt tesztelt, amelyek élő keresési funkcióval rendelkeznek, és megállapította, hogy az AI modellek a hírszerző forrásokkal kapcsolatos kérdések több mint 60 százalékában helytelen válaszokat adtak.
Klaudia Jaźwińska és Aisvarya Chandrasekar, a kutatás szerzői, jelentésükben megjegyezték, hogy körülbelül minden negyedik amerikai AI modellekre támaszkodik a hagyományos keresőmotorok helyett. Ez komoly aggályokat vet fel a megbízhatóság terén, tekintettel a kutatás során feltárt jelentős hibaarányra.
A hibaarányok jelentősen változtak a tesztelt platformok között. A Perplexity 37 százalékos hibaarányt mutatott, míg a ChatGPT Search esetében ez az arány 67 százalék volt (134-ből 200 cikk). A Grok 3 a legmagasabb hibaarányt, 94 százalékot mutatta.
Hibás információk és válaszok
A tesztelés során a kutatók valós hírcikkekből vett közvetlen idézeteket adtak az AI modelleknek, majd megkérdezték őket a cikk címéről, eredeti kiadójáról, megjelenési dátumáról és URL-jéről. Összesen 1,600 keresést végeztek el a nyolc különböző generatív keresőeszközön.
A kutatás kiemelte, hogy ezek az AI modellek gyakran nem hajlandók visszautasítani a válaszadást, ha nem rendelkeznek megbízható információval, és helyette plauzibilis, de helytelen vagy spekulatív válaszokat adtak. A kutatók hangsúlyozták, hogy ez a magatartás minden tesztelt modellre jellemző volt.
Meghökkentő módon a prémium, fizetős verziók ezekből az AI keresőeszközökből bizonyos szempontból még rosszabbul teljesítettek. A Perplexity Pro (20 dollár/hónap) és a Grok 3 prémium szolgáltatása (40 dollár/hónap) gyakrabban adtak helytelen válaszokat, mint ingyenes megfelelőik.
Hivatkozási problémák és a kiadók ellenőrzése
A CJR kutatói arra is rámutattak, hogy egyes AI eszközök figyelmen kívül hagyták a Robot Exclusion Protocol beállításokat, amelyeket a kiadók használnak az engedély nélküli hozzáférés megakadályozására. Például a Perplexity ingyenes verziója helyesen azonosította a National Geographic fizetős tartalmából származó összes 10 idézetet, annak ellenére, hogy a National Geographic kifejezetten megtiltotta a Perplexity web crawlerjeinek használatát.
Még akkor is, amikor ezek az AI keresőeszközök hivatkoztak forrásokra, gyakran olyan szindikalizált tartalomhoz irányították a felhasználókat, mint a Yahoo News, ahelyett, hogy az eredeti kiadó weboldalára vezették volna őket. Ez a helyzet akkor is előfordult, amikor a kiadók hivatalos licencszerződésekkel rendelkeztek az AI cégekkel.
A URL-k hamisítása is jelentős probléma lett. A Google Gemini és a Grok 3 hivatkozásainak több mint fele hamis vagy törött URL-ekhez vezetett, ami hibás oldalakat eredményezett. A Grok 3-ból 200 hivatkozás közül 154 törött linket eredményezett.
Ezek a problémák komoly feszültséget okoznak a kiadók számára, akik nehéz döntésekkel szembesülnek. Az AI crawler-ek blokkolása teljes mértékben megakadályozhatja a hivatkozást, míg a megengedésük széleskörű újrahasználatot eredményezhet anélkül, hogy visszaterelné a forgalmat a kiadók saját weboldalaira.
Mark Howard, a Time magazin ügyvezető igazgatója aggodalmát fejezte ki a CJR-nek a transzparencia és a kontroll biztosítása érdekében, hogy a Time tartalma hogyan jelenik meg az AI által generált keresések során. Howard látja a fejlődés lehetőségét a jövőbeli verziókban, megjegyezve, hogy „a mai nap a legrosszabb, amit a termék valaha is jelentett,” kiemelve a jelentős befektetéseket és mérnöki erőfeszítéseket, amelyek célja ezen eszközök fejlesztése.
Az OpenAI és a Microsoft nyilatkozatot adott a CJR-nek, amelyben elismerték a megállapításokat, de nem reagáltak közvetlenül a konkrét problémákra. Az OpenAI megjegyezte, hogy ígéretet tett a kiadók támogatására a forgalom generálása révén összefoglalók, idézetek, világos hivatkozások és hivatkozások segítségével. A Microsoft kijelentette, hogy betartja a Robot Exclusion Protocolokat és a kiadók irányelveit.
Az utolsó jelentés a Tow Center által 2024 novemberében közzétett korábbi megállapításokra épít, amelyek hasonló pontossági problémákat azonosítottak a ChatGPT hírekkel kapcsolatos tartalmának kezelésében. A részletesebb információkért látogasson el a Columbia Journalism Review weboldalára.
Érdekes tény: Az AI modellek a hírek keresésén túl már a tartalomkészítésben is egyre nagyobb szerepet játszanak, segítve az újságírókat cikkek vázlatának megírásában.
Források: Columbia Journalism Review, Tow Center for Digital Journalism
