Új módszer az LLM-ek használatának kimutatására tudományos írásokban
Ezidáig még az AI cégeknek is nehézséget okozott olyan eszközök kifejlesztése, amelyek megbízhatóan felismerik, ha egy írás nagyméretű nyelvi modellek (LLM-ek) által készült. Most egy kutatócsoport új módszert dolgozott ki az LLM használatának becslésére egy nagy tudományos íráskorpuszon, az „excess words” megjelenésének gyakorisága alapján, amelyek a LLM korszakában (2023 és 2024) váltak sokkal gyakoribbá.
Az eredmények szerint „legalább a 2024-es absztraktok 10 százaléka LLM-ekkel készült,” állapították meg a kutatók. Egy, a hónap elején közzétett előzetes tanulmányban a Németország Tübingeni Egyetemének és a Northwestern Egyetem négy kutatója azt írta, hogy a Covid-19 járvány hatásának mérésére irányuló tanulmányok inspirálták őket, amelyek az elmúlt időszakhoz képest mérték az „excess deaths” számát.
A változások mérése
Ezeket a szókincs változásokat mérve a kutatók 14 millió tudományos absztraktot elemeztek a PubMed-en, a 2010 és 2024 közötti időszakban, követve minden egyes szó relatív gyakoriságát az egyes évek során. Ezután összehasonlították ezeknek a szavaknak a várható gyakoriságát (a 2023 előtti trendvonal alapján) a tényleges gyakoriságukkal a 2023 és 2024 absztraktokban, amikor az LLM-ek széles körben elérhetővé váltak.
Az eredmények számos olyan szót találtak, amelyek rendkívül ritkák voltak ezekben a tudományos absztraktokban 2023 előtt, de hirtelen népszerűvé váltak az LLM-ek bevezetése után. Például a „delves” szó 25-ször gyakrabban fordult elő 2024-es cikkekben, mint a LLM-ek előtti trend alapján várható volt; olyan szavak, mint a „showcasing” és „underscores” kilencszeresére növelték használatukat. Más, korábban gyakori szavak szintén jelentősen gyakoribbá váltak a LLM-ek utáni absztraktokban: a „potential” gyakorisága 4,1 százalékponttal, a „findings” 2,7 százalékponttal, és a „crucial” 2,6 százalékponttal nőtt.
Összetett kölcsönhatás
Ezek a szókincs változások függetlenül is megtörténhetnek az LLM használatától—the nyelv természetes evolúciója miatt a szavak néha kikerülnek vagy visszatérnek a divatba. Azonban a kutatók azt találták, hogy a LLM-ek előtti időszakban ilyen hatalmas és hirtelen évről évre történő növekedést csak a nagy világ egészségügyi eseményekhez kapcsolódó szavak esetében láttak: „ebola” 2015-ben; „zika” 2017-ben; és olyan szavak, mint „coronavirus,” „lockdown,” és „pandemic” a 2020 és 2022 közötti időszakban.
A LLM-ek utáni időszakban azonban a kutatók több száz szót találtak, amelyek hirtelen és jelentősen növekedtek a tudományos használatban, és amelyeknek nem volt közös kapcsolatuk a világ eseményeivel. Valójában míg a Covid-járvány idején az excess words túlnyomórészt főnevek voltak, a kutatók azt találták, hogy a LLM-ek utáni gyakorisági ugrással rendelkező szavak túlnyomórészt „stílus szavak” voltak, mint igék, melléknevek és határozószók (egy kis minta: „across, additionally, comprehensive, crucial, enhancing, exhibited, insights, notably, particularly, within”).
Ez nem teljesen új felismerés—a „delve” szó növekvő jelenléte a tudományos cikkekben például a közelmúltban széles körben megfigyelhető volt. De a korábbi tanulmányok általában „ground truth” emberi írásmintákkal vagy előre meghatározott LLM markerek listáival való összehasonlításokra támaszkodtak, amelyeket a kutatáson kívülről szereztek be. Itt a 2023 előtti absztraktok halmaza saját hatékony kontrollcsoportként működik, hogy bemutassa, hogyan változott a szókincs választás összességében a LLM-ek utáni időszakban.
Érdekes tény: A mesterséges intelligencia gyakran képes olyan mintákat észrevenni, amelyeket az emberek nem, például a szavak gyakoriságának hirtelen növekedését.
Források: Ars Technica, PubMed, University of Tübingen, Northwestern University
