Új Technika a Nagy Nyelvi Modellek Számára: Természetes Nyelvi Beágyazott Programok
A nagy nyelvi modellek, mint például a ChatGPT-t működtető rendszerek, lenyűgöző teljesítményt mutattak olyan feladatokban, mint jogi dokumentumok megírása, ügyfélvélemények elemzése vagy dokumentumok fordítása különböző nyelvekre. Ezek a gépi tanulási modellek általában csak természetes nyelvet használnak az információ feldolgozására és a kérdések megválaszolására, ami megnehezítheti a numerikus vagy szimbolikus érvelést igénylő feladatok végrehajtását.
Például egy nagy nyelvi modell képes lehet megjegyezni és felidézni az Egyesült Államok elnökeinek listáját és születésnapjaikat, de ugyanaz a modell kudarcot vallhat, ha azt kérdezik tőle: „Melyik 1950 után megválasztott amerikai elnök született szerdán?” (A válasz Jimmy Carter.)
Az MIT és más intézmények kutatói egy új technikát javasoltak, amely lehetővé teszi a nagy nyelvi modellek számára, hogy természetes nyelvi, matematikai és adat-elemzési, valamint szimbolikus érvelési feladatokat oldjanak meg programok generálásával. Az ő megközelítésük, amelyet természetes nyelvi beágyazott programoknak (NLEP) neveznek, magában foglalja, hogy egy nyelvi modellt arra ösztönöznek, hogy Python programot hozzon létre és hajtson végre a felhasználó kérdésének megoldására, majd az eredményt természetes nyelvként adja vissza.
Programozással Megoldott Feladatok
Sok népszerű nagy nyelvi modell úgy működik, hogy a következő szót vagy tokent jósolja meg bizonyos természetes nyelvi bemenet alapján. Míg a GPT-4-hez hasonló modellek programokat is írhatnak, ezek a programok természetes nyelvbe ágyazódnak, ami hibákhoz vezethet a program érvelésében vagy eredményeiben.
Az NLEP-ekkel az MIT kutatói az ellenkező megközelítést alkalmazták. A modellt arra ösztönzik, hogy lépésről lépésre Python kódot generáljon, majd a szükséges természetes nyelvet a programba ágyazzák.
Az NLEP egy problémamegoldó sablon négy lépéssel. Először a modell meghívja a szükséges csomagokat vagy funkciókat, amelyekre a feladat megoldásához szüksége lesz. A második lépés magában foglalja a feladathoz szükséges tudás természetes nyelvi reprezentációinak importálását (például az amerikai elnökök születésnapjainak listáját). A harmadik lépésben a modell egy függvényt valósít meg, amely kiszámítja a választ. Az utolsó lépésben a modell az eredményt egy természetes nyelvi sorral és automatikus adatvizualizációval adja vissza, ha szükséges.
„Ez olyan, mint egy digitális számológép, amely mindig a helyes számítási eredményt adja, amennyiben a program helyes,” mondja Luo.
A felhasználó könnyen megvizsgálhatja a programot és kijavíthatja a kód hibáit közvetlenül, anélkül, hogy újra kellene futtatnia az egész modellt a hibaelhárításhoz.
A megközelítés nagyobb hatékonyságot is kínál, mint néhány más módszer. Ha a felhasználónak sok hasonló kérdése van, egy alap programot generálhat, majd bizonyos változókat helyettesíthet anélkül, hogy ismételten futtatnia kellene a modellt.
Általánosíthatóság és Hatékonyság
Az NLEP generálására való ösztönzéshez a kutatók egy általános utasítást adnak a modellnek, hogy írjon egy Python programot, két NLEP példát (egy matematikai és egy természetes nyelvi), és egy tesztkérdést.
„Általában, amikor az emberek ilyen kevés példás ösztönzést használnak, még mindig minden feladathoz külön ösztönzést kell tervezniük. Mi azt találtuk, hogy egy ösztönzést használhatunk sok feladathoz, mert ez nem egy olyan ösztönzés, amely megtanítja az LLM-eket egy probléma megoldására, hanem egy olyan ösztönzés, amely megtanítja az LLM-eket sok probléma megoldására program írásával,” mondja Luo.
„A nyelvi modellek kóddal történő érvelése számos lehetőséget nyit meg az eszközhasználat, az eredmény érvényesítése, a modell képességeinek és gondolkodásmódjának strukturáltabb megértése és még sok más terén,” mondja Leonid Karlinsky, az MIT-IBM Watson AI Lab vezető tudósa.
„Nincs itt semmi varázslat”
Az NLEP-ek több mint 90 százalékos pontosságot értek el, amikor a GPT-4-et különböző szimbolikus érvelési feladatok megoldására ösztönözték, mint például kevert objektumok nyomon követése vagy egy 24-es játék játszása, valamint utasítás-követési és szöveg-osztályozási feladatok. A kutatók azt találták, hogy az NLEP-ek még 30 százalékkal nagyobb pontosságot mutattak, mint a feladat-specifikus ösztönzési módszerek. A módszer nyílt forráskódú LLM-ek esetében is javulást mutatott.
A nagy nyelvi modellek pontosságának növelése mellett az NLEP-ek az adatvédelem javítását is elősegíthetik. Mivel az NLEP programok helyben futnak, az érzékeny felhasználói adatoknak nem kell egy olyan céghez, mint az OpenAI vagy a Google, eljutniuk, hogy egy modell feldolgozza őket.
Ezenkívül az NLEP-ek lehetővé tehetik, hogy kisebb nyelvi modellek jobban teljesítsenek anélkül, hogy újra kellene képezni egy modellt egy adott feladatra, ami költséges folyamat lehet.
„Nincs itt semmi varázslat. Nincs drágább vagy fenszibb nyelvi modellünk. Csak programgenerálást használunk a természetes nyelvi generálás helyett, és így jelentősen jobban teljesíthetünk,” mondja Luo.
Azonban egy NLEP a modell programgenerálási képességére támaszkodik, így a technika nem működik olyan jól kisebb modellek esetében, amelyek korlátozott adatállományokon lettek kiképezve. A jövőben a kutatók olyan módszereket kívánnak tanulmányozni, amelyek lehetővé teszik, hogy kisebb nyelvi modellek hatékonyabb NLEP-eket generáljanak. Ezenkívül meg akarják vizsgálni az ösztönzési variációk hatását az NLEP-ekre, hogy javítsák a modell érvelési folyamatainak robusztusságát.
Ez a kutatás részben a Hongkongi Perceptuális és Interaktív Intelligencia Központ támogatásával valósult meg.
Érdekes információ: Az NLEP-ek nemcsak a nagy nyelvi modellek pontosságát növelhetik, hanem az adatvédelmet is javíthatják, mivel a programok helyben futnak, így az érzékeny felhasználói adatoknak nem kell elhagyniuk a felhasználó eszközét.
