Automatizált AI kutatások: MIT bemutatja a MAIA rendszert
A mesterséges intelligencia (AI) modellek rohamos terjedésével és integrációjával az egészségügy, a pénzügyek, az oktatás, a közlekedés és a szórakoztatás területén elengedhetetlen, hogy megértsük, hogyan működnek ezek a rendszerek. Az AI modellek mechanizmusainak értelmezése lehetőséget ad arra, hogy biztonsági és előítélet-ellenőrzéseket végezzünk, és mélyebben megértsük az intelligencia mögött rejlő tudományt.
Képzeljük el, hogy közvetlenül vizsgálhatnánk az emberi agyat úgy, hogy manipuláljuk az egyes neuronokat, hogy megvizsgáljuk azok szerepét egy adott tárgy észlelésében. Míg egy ilyen kísérlet rendkívül invazív lenne az emberi agyban, egy másik típusú neurális hálózatban, azaz egy mesterségesben, könnyebben megvalósítható. Azonban az emberi agyhoz hasonlóan a milliónyi neuront tartalmazó mesterséges modellek is túl nagyok és összetettek ahhoz, hogy kézzel tanulmányozzuk őket, így a skálázhatóságot igénylő értelmezhetőség komoly kihívást jelent.
Ennek kezelésére a MIT Számítógépes Tudomány és Mesterséges Intelligencia Laboratórium (CSAIL) kutatói egy automatizált megközelítést választottak a képeket értékelő mesterséges látásmodellek értelmezéséhez. Kifejlesztették a “MAIA” (Multimodal Automated Interpretability Agent) rendszert, amely automatizálja a neurális hálózatok értelmezhetőségi feladatait egy látvány-nyelv modell alapján, amely képes más AI rendszereken kísérletezni.
„Célunk egy AI kutató létrehozása, amely önállóan képes értelmezési kísérleteket végezni. A meglévő automatizált értelmezési módszerek csupán egyszeri folyamatban címkézik vagy vizualizálják az adatokat. Ezzel szemben a MAIA hipotéziseket generál, kísérleteket tervez ezek tesztelésére, és iteratív elemzés révén finomítja az értelmezését” – mondja Tamar Rott Shaham, a MIT elektromos mérnöki és számítástechnikai (EECS) posztdoktora a CSAIL-nél és az új kutatás társszerzője.
Neuronról neuronra
Az automatizált ügynök három kulcsfeladatot lát el: címkézi a látásmodellek egyes komponenseit és leírja azokat a vizuális koncepciókat, amelyek aktiválják őket; megtisztítja a képosztályozókat irreleváns jellemzőktől, hogy robusztusabbá tegye őket új helyzetekben; és rejtett előítéleteket keres az AI rendszerekben, hogy feltárja a potenciális igazságossági problémákat a kimeneteikben.
„Az ilyen rendszerek egyik előnye a rugalmasságuk” – mondja Sarah Schwettmann PhD ’21, a CSAIL kutatója és a kutatás társelnöke. „A MAIA hasznosságát néhány konkrét feladaton mutattuk be, de mivel a rendszer egy széleskörű érvelési képességekkel rendelkező alapmodellből épül fel, számos különböző típusú értelmezhetőségi kérdésre tud válaszolni a felhasználóktól, és gyorsan kísérleteket tervezhet ezek vizsgálatára.”
Mivel a MAIA külső eszközökre támaszkodik a kísérletek tervezésében, teljesítménye az eszközök minőségétől függ. Azonban ahogy az ilyen eszközök, például a képszintézis modellek javulnak, úgy fog a MAIA is. A MAIA néha megerősítési torzítást mutat, ahol tévesen megerősíti kezdeti hipotézisét. Ennek enyhítésére a kutatók egy kép-szöveg eszközt építettek, amely a nyelvi modell másik példányát használja a kísérleti eredmények összegzésére.
Érdekesség: Az AI modellek megértésének nehézségei közé tartozik, hogy több száz ezer neuront tartalmaznak, mindegyik komplex viselkedési mintákkal. A MAIA segít áthidalni ezt a szakadékot azáltal, hogy automatikusan elemzi ezeket a neuronokat és emészthető módon jelentést készít az emberek számára.
Források: MIT CSAIL, International Conference on Machine Learning
