Hordozható LLM a zsebünkben
A nagy nyelvi modellek (LLM-ek) a mesterséges intelligencia egyik legizgalmasabb területét képviselik. Ezek a modellek, élükön a GPT-vel, képesek szövegeket megérteni, elemezni és létrehozni. Korszerű változataik több tíz- vagy akár százmilliárd paramétert is felhasználnak a válaszaik generálásához. Nem meglepő, hogy óriási számítási teljesítményt és hatalmas adatközpontokat igényelnek, ami gyakran felveti a környezetvédelmi aggályokat.
Azonban a nagy nyelvi modellek nem csupán a méretükről híresek. Léteznek olyan korlátozott hardveres, fogyasztói PC-kre tervezett LLM-ek is, amelyek sokkal kisebb környezetben is működhetnek. Egy találékony szoftvermérnök, a YouTuber Binh, egy kicsi USB-meghajtóra helyezett el egy „nagy” nyelvi modellt, amely valóban hordozható.
Ez a flash-drive nem hétköznapi, hiszen egyedi 3D-nyomtatott tokjában egy apró Raspberry Pi Zero W számítógép található. Ezen a szerény hardveren fut a llama.cpp, a Meta LLaMA modelljének könnyített változata. A szoftver működésbe hozása azonban nem volt egyszerű, mivel a llama.cpp legújabb verziója ARMv8 processzorokhoz készült, míg a Raspberry Pi Zero W a régebbi ARMv6 utasításkészletet futtatta. Ezért Binh-nak gondosan el kellett távolítania az ARMv8 optimalizálását, amit a forráskód módosításával oldott meg.
Emellett arról is gondoskodnia kellett, hogy az LLM bármilyen számítógépen, illesztőprogramok nélkül fusson, és viszonylag egyszerűen használható legyen. Binh ezt az akadályt is sikeresen átvészelte; az LLM használatához csupán annyit kell tennünk, hogy csatlakoztatjuk az USB-meghajtót, létrehozunk egy üres szövegfájlt, amit elnevezünk, és a modell automatikusan generálja a szöveget, amelyet elment a fájlba. Mivel az LLM-mel pusztán a fájlrendszeren keresztül lehet kommunikálni, így elérhetővé válik telefonon, táblagépen vagy tévén, amennyiben az eszköz rendelkezik USB-porttal és fájlkezelővel.
Ez a megoldás persze messze nem olyan gyors, mint azok, amelyek mögött felhő alapú számítástechnika áll, de nagyszerű bizonyítéka a koncepciónak. Binh szerint ez az első plug-and-play USB-alapú LLM a világon. Az igazsághoz hozzá tartozik, hogy jelenleg nem kínál valós használati esetet, mivel nagyon lassú, viszont a megoldás rávilágít arra, hogy milyen lehet a beágyazott LLM a jövőben. Az egyszerűségen és a hordozhatóságon kívül a nagy előnye, hogy míg a nagy modellek rengeteg energiát igényelnek, ami hozzájárul a szén-dioxid-kibocsátáshoz, az ilyen kisebb, hatékonyabb modellek csökkenthetik ezt a karbonlábnyomot.
Érdekes tény: A mesterséges intelligencia fejlődése során a legkisebb modellek is képesek lehetnek a nyelvi feladatok széles spektrumának ellátására, jelentős energiahatékonysággal.
Források: Hackaday, YouTube/Build with Binh
