Az AI nyelvek és a valóság megértése
Az MIT Számítástechnikai és Mesterséges Intelligencia Laboratóriuma (CSAIL) kutatói új eredményeket tártak fel, amelyek arra utalnak, hogy a nagyméretű nyelvi modellek (LLM) képesek saját megértésük kifejlesztésére a valóságról, hogy javítsák generatív képességeiket. Az első lépésként a csapat egy sor egyszerű Karel-rejtélyt alakított ki, amelyben utasításokat kellett adni egy robot irányításához egy szimulált környezetben.
A kutatók egy LLM-et képeztek ki a megoldások alapján, anélkül, hogy bemutatták volna, hogyan működnek a megoldások. A gépi tanulási technika, az úgynevezett “probing” segítségével megvizsgálták a modell „gondolkodási folyamatát”, miközben új megoldásokat generált. A kutatók több mint 1 millió véletlenszerű rejtély után azt találták, hogy a modell spontán módon saját elképzelést alakított ki a szimuláció alapjául szolgáló valóságról, annak ellenére, hogy soha nem volt kitéve ennek a valóságnak a tréning során.
Charles Jin, az MIT elektrotechnikai és számítástechnikai (EECS) doktorandusza és a CSAIL munkatársa, a kutatás vezető szerzője, elmondta: „A kísérletek elején a nyelvi modell véletlenszerű utasításokat generált, amelyek nem működtek. Amikor befejeztük a tréninget, a nyelvi modell 92,4%-os helyességgel generálta a helyes utasításokat.” Ez a felfedezés megnyitotta az utat a nyelvi modellek mélyebb megértésének vizsgálatához.
Az LLM nyelv megértésének folyamata lépésről lépésre fejlődik, hasonlóan ahhoz, ahogyan egy gyermek tanulja meg a beszédet. Először a modell a jelentés elsajátítása előtt egyszerűbb, érthetetlen utasításokat generál, majd fokozatosan egyre pontosabb utasításokat alkot, amelyek már valóban működnek.
A kutatás célja, hogy kiderítse, vajon a nagyméretű nyelvi modellek valóban képesek-e megérteni a nyelvet, vagy csupán statisztikai korrelációk által vezéreltek. Martin Rinard, az MIT professzora elmondta: „Ez a kutatás közvetlenül célozza meg a modern mesterséges intelligencia központi kérdését.” A kutatás során kiderült, hogy az LLM saját belső modellt fejlesztett ki a szimulált valóságról, annak ellenére, hogy soha nem volt tanítva erre.
Az LLM-k fejlődése és nyelvi megértése olyan kérdések, amelyek az AI jövőjét is meghatározhatják. Míg a kutatók az egyszerű programozási nyelvet és egy viszonylag kis modellt használtak, a jövőbeli kutatások célja a bonyolultabb környezetek vizsgálata.
Érdekesség: A nagyméretű nyelvi modellek fejlesztése során a kutatók felfedezték, hogy a modellek saját belső szimulációkat alkotnak a tanult információk alapján, amely a nyelvi megértés új dimenzióit nyithatja meg.
Források: MIT CSAIL, Charles Jin, Martin Rinard, Brown University.
