Illia Polosukhin és a Nyílt Forráskódú AI Jövője
2016-ban a Google mérnöke, Illia Polosukhin ebédelt egy kollégájával, Jacob Uszkoreittel. Polosukhin frusztrált volt a projektjének lassú előrehaladása miatt, amely AI-t használt arra, hogy hasznos válaszokat adjon a felhasználók kérdéseire. Uszkoreit egy új technikát javasolt, amit ő önfigyelésnek nevezett. Így kezdődött egy nyolcfős együttműködés, amely végül egy 2017-es, „Attention Is All You Need” című tanulmányhoz vezetett, amely bemutatta a transzformátorok koncepcióját mint az AI szupergyorsításának módját.
Nyolc évvel később Polosukhin nincs teljesen elégedett az eredményekkel. Nagy híve a nyílt forráskódnak, és aggódik a transzformátor alapú nyelvi modellek titkos természete miatt, még olyan cégeknél is, amelyek átláthatóságra épültek. „Nem tudjuk, mire vannak betanítva, és mik a súlyok, és a külsősök biztosan nem tudnak velük játszani” – mondja. Egy nagy technológiai vállalat, a Meta, nyílt forráskódúnak nevezi rendszereit, de Polosukhin szerint ez nem igazán nyílt: „A paraméterek nyitottak, de nem tudjuk, milyen adatok kerültek a modellbe, és az adatok meghatározzák, milyen torzítások lehetnek benne, és milyen döntések születhetnek.”
Ahogy az LLM (nagy nyelvi modellek) technológia fejlődik, Polosukhin aggódik, hogy egyre veszélyesebbé válik, és hogy a profit szükséglete alakítja majd evolúcióját. „A cégek azt mondják, több pénzre van szükségük, hogy jobb modelleket tudjanak betanítani. Ezek a modellek viszont jobbak lesznek az emberek manipulálásában, és jobban hangolhatók a bevételtermelésre” – mondja. Polosukhin nem bízik abban, hogy a szabályozás segíthet. Egyrészt, a modellek korlátozásának előírása olyan nehéz, hogy a szabályozóknak maguknak kellene a cégekre támaszkodniuk a munka elvégzéséhez.
„Nem hiszem, hogy sokan képesek lennének hatékonyan válaszolni olyan kérdésekre, mint például: ‘Itt vannak a modell paraméterei, ugye? Ez egy jó biztonsági margin?’ Még egy mérnök számára is nehéz válaszolni a modell paramétereire és mi a jó biztonsági margin” – mondja. „Biztos vagyok benne, hogy senki Washingtonban nem lesz képes ezt megtenni.”
Polosukhin alternatívája egy nyílt forráskódú modell, ahol az elszámoltathatóság magába a technológiába van beépítve. Még mielőtt a transzformátorok tanulmánya 2017-ben megjelent volna, Polosukhin elhagyta a Google-t, hogy elindítson egy blokklánc/Web3 nonprofit szervezetet, a Near Foundation-t. Most a cége részben átpivotál, hogy alkalmazzák a nyitottság és elszámoltathatóság elveit egy „felhasználói tulajdonú AI” létrehozására. A blokklánc alapú kriptoprotokollok mintájára ez az AI decentralizált szerkezetű lenne, semleges platformmal. „Mindenki tulajdonosa lenne a rendszernek” – mondja. „Egy ponton azt mondanánk, ‘Nem kell tovább növekednünk.’ Ez olyan, mint a bitcoin esetében—az ár felmehet vagy lemehet, de nincs senki, aki azt mondaná, ‘Hé, idén 2 milliárd dolláros bevételt kell elérnünk.’ Ezt a mechanizmust felhasználhatjuk az ösztönzők összehangolására és egy semleges platform építésére.”
Polosukhin szerint a fejlesztők már használják a Near platformját olyan alkalmazások kifejlesztésére, amelyek működhetnek ezen a nyílt forráskódú modellen. A Near létrehozott egy inkubációs programot is, hogy segítsen a startupoknak ebben az erőfeszítésben. Egy ígéretes alkalmazás egy módszer a mikrofizetések elosztására azoknak a tartalomkészítőknek, akiknek a tartalma táplálja az AI modelleket.
Polosukhin már régóta terjeszti az ötletét, beszélgetve a tudósokkal az iparágban, köztük néhány „Attention” társszerzőjével. Az utóbbiak közül a legtöbb rezonanciát Uszkoreittal találta, akivel 2016-ban megosztotta azt a végzetes ebédet. Uszkoreit, akivel ezen a héten beszéltem, egyetért Polosukhin érvelésének nagy részével, bár nem kedveli a megnevezést. A „felhasználói tulajdonú AI” helyett inkább „közösségi tulajdonú AI”-nek nevezné.
Uszkoreit különösen izgatott, hogy egy nyílt forráskódú megközelítés, esetleg a Polosukhin által elképzelt mikrofizetési rendszerrel, megoldást nyújthat az AI által kiváltott szellemi tulajdon válságára. A nagy cégek most epikus jogi csatában állnak a tartalomkészítőkkel, akik munkája az AI modellek szívében van. Mivel ezek a cégek könyörtelenül a profitra hajtanak, ez a konfliktus be van építve, és még ha meg is próbálnák kompenzálni a készítőket, ezek az erőfeszítések elkerülhetetlenül befolyásolnák a végső céljukat, hogy minél több értéket rögzítsenek maguknak. Ez nem lenne így egy olyan modell esetében, amelyet a kezdetektől fogva az ilyen hozzájárulások elismerésének és jutalmazásának gondolatával építenének fel.
„Minden szellemi tulajdon kérdés eltűnne, ha lenne egy mód, hogy valóban elismerjük a tartalomkészítők hozzájárulásait” – mondja Uszkoreit. „Az emberiség történetében először lehetőségünk lenne számszerűsíteni, hogy egy információ darabja milyen értékkel bír, legalábbis hosszabb időszakok alatt.”
Érdekes tény: A „Attention Is All You Need” című tanulmány bevezetett egy olyan mechanizmust, amely lehetővé tette az információk feldolgozásának új szintjét, és alapot teremtett a generatív AI forradalomnak.
Források: Wired, Google, Meta
