Microsoft kutatói megtanítják az AI-t a táblázatok olvasására – Forradalmi áttörés az adatkezelésben!


SpreadsheetLLM: A Táblázatok Új Értelmezése Generatív AI Számára

Nehezen értik meg a generatív AI modellek a táblázatokat. Ennek megoldása érdekében a Microsoft kutatói július 12-én publikáltak egy tanulmányt az Arxiv-on, amely leírja a SpreadsheetLLM-et, egy kódolási keretrendszert, amely lehetővé teszi a nagy nyelvi modellek számára, hogy „olvassák” a táblázatokat. A kutatók szerint a SpreadsheetLLM „átalakíthatja a táblázatkezelési és elemzési folyamatokat, utat nyitva az intelligensebb és hatékonyabb felhasználói interakciók felé.”

Miért jelentenek kihívást a táblázatok a LLM-ek számára?

A táblázatok több okból is kihívást jelentenek a LLM-ek számára. A táblázatok nagyon nagyok lehetnek, meghaladva a LLM-ek által egyszerre feldolgozható karakterek számát. A táblázatok „két dimenziós elrendezések és struktúrák,” szemben a LLM-ek által jól kezelt „lineáris és szekvenciális bemenettel.” A LLM-ek általában nem arra vannak kiképezve, hogy értelmezzék a cellacímeket és specifikus táblázatformátumokat.

Microsoft kutatási technikája a táblázatok elemzésére

A SpreadsheetLLM két fő részből áll: a SheetCompressor, amely egy keretrendszer a táblázatok olyan formátumokra zsugorítására, amelyeket a LLM-ek megértenek; és a Chain of Spreadsheet, amely egy módszertan arra, hogy megtanítsák a LLM-nek, hogyan azonosítsa be a megfelelő részeket egy tömörített táblázatban, amikor kérdéseket kap, és hogyan generáljon választ.

A SheetCompressor három modulból áll:

  • Strukturális horgonyok, amelyek segítenek a LLM-eknek azonosítani a táblázat sorait és oszlopait.
  • Olyan módszer, amely csökkenti a táblázat értelmezéséhez szükséges tokenek számát a LLM számára.
  • Olyan technika, amely javítja a hatékonyságot azáltal, hogy hasonló cellákat csoportosít össze.

Ezeknek a moduloknak a használatával a csapat 96%-kal csökkentette a táblázat kódolásához szükséges tokenek számát. Ez viszont 12,3%-os javulást eredményezett egy másik vezető kutatócsoport munkájához képest a LLM-ek táblázatok megértésében.

A Chain of Spreadsheet képességeihez GPT-4-et használtak.

Mit jelent a SpreadsheetLLM a Microsoft AI törekvései számára?

A nyilvánvaló előny a Microsoft számára az AI asszisztens Copilot képességeinek bővítése, amely számos Microsoft 365 suite alkalmazásban működik, hogy többet tudjon tenni az Excelben. A SpreadsheetLLM az a folyamatos erőfeszítés része, hogy a generatív AI-t gyakorlati alkalmazásokra tegyék alkalmassá – és az Excel megnyitása azok számára, akik nem tanulták meg a fejlettebb funkcióit, jó lehetőség lehet a generatív AI terjeszkedésére.

Valós használat és a Microsoft kutatásának következő lépései

12,3%-os javulás egy korábbi, vezető kutatócsoport eredményeihez képest most még inkább tudományos jelentőségű, mint gazdasági. A generatív AI hírhedt arról, hogy dolgokat talál ki, és a táblázatokban jelentkező hibás adatok teljes adatbázisokat tehetnek haszontalanná. Ahogy a kutatók rámutatnak, egy LLM számára a táblázatok formátumának megértése – azaz, hogy néznek ki és hogyan működnek a táblázatok – más, mint érthető, pontos adatokat generálni azokban a cellákban.

Emellett ez a módszertan rengeteg számítási kapacitást igényel és többszöri áthaladást egy LLM-en, hogy választ generáljon. Ráadásul az irodai Excel-szakértő néhány perc alatt is meg tudja találni a választ, anélkül hogy annyi energiát használna.

A kutatócsoport a jövőben szeretné beépíteni a cellák háttérszínének kódolását és mélyíteni a LLM-ek megértését arról, hogyan viszonyulnak egymáshoz a cellák szavai.

Érdekesség: A generatív AI modellek, mint a GPT-4, több milliárd paraméterrel rendelkeznek, amelyek segítenek az emberi nyelv megértésében és generálásában.

Források:

  • Arxiv tanulmány
  • TechRepublic
  • Microsoft kutatások