Új kezdeményezés az AI rendszerek tesztelésére
2023-ban a Defcon hacker konferencián, Las Vegasban, a neves AI technológiai cégek együttműködtek az algoritmikus integritás és átláthatóság csoportjaival, hogy több ezer résztvevőt vonjanak be a generatív AI platformok tesztelésébe és gyengeségeik feltárásába. Ez a „red-teaming” gyakorlat, amelyet az Egyesült Államok kormánya is támogatott, lépést tett abba az irányba, hogy ezeket az egyre befolyásosabb, de átláthatatlan rendszereket megvizsgálják.
Most az etikus AI és algoritmikus értékelést végző nonprofit szervezet, a Humane Intelligence egy lépéssel tovább lép. Szerdán bejelentették, hogy résztvevőket keresnek az Egyesült Államok Nemzeti Szabványügyi és Technológiai Intézetével (NIST) közösen, meghívva bármely amerikai lakost, hogy részt vegyen a nemzeti szintű red-teaming erőfeszítések előkvalifikáló fordulójában az AI irodai produktivitási szoftverek értékelésére.
Az előkvalifikáló forduló online zajlik, és nyitva áll mind a fejlesztők, mind a nagyközönség számára a NIST AI kihívásai, azaz az AI kockázatok és hatások értékelése, vagyis az ARIA részeként. Azok a résztvevők, akik átmennek az előkvalifikáló fordulón, részt vehetnek egy személyes red-teaming eseményen október végén a Virginia állambeli Alkalmazott Gépi Tanulás a Információbiztonság Konferencián (CAMLIS).
A cél az, hogy bővítsék a lehetőségeket a generatív AI technológiák biztonságának, ellenállóságának és etikai szempontjainak szigorú tesztelésére. “A különböző modellek használója nem igazán képes meghatározni, hogy a modell megfelelő-e a céljainak,” mondja Theo Skeadas, a Humane Intelligence munkatársa. “Ezért szeretnénk demokratizálni az értékelések végzésének lehetőségét, és biztosítani, hogy mindenki, aki ezeket a modelleket használja, saját magának tudja megítélni, hogy a modell megfelel-e az igényeinek.”
A CAMLIS végső eseményén a résztvevőket piros csoportra osztják, akik az AI rendszerek támadására törekednek, és egy kék csoportra, akik a védekezésen dolgoznak. A résztvevők az AI 600-1 profilt fogják használni, amely a NIST AI kockázatkezelési keretrendszerének része, mint irányelvet az eredmények mérésére, hogy a piros csapat képes-e olyan kimeneteket produkálni, amelyek megsértik a rendszerek várt viselkedését.
Chowdhury és Skeadas szerint a NIST partnerség csupán egy a Humane Intelligence által bejelentett sorozatnyi AI red team együttműködés közül, amelyeket az elkövetkező hetekben fognak bejelenteni az Egyesült Államok kormányzati ügynökségeivel, nemzetközi kormányokkal és NGO-kkal. Az erőfeszítés célja, hogy sokkal gyakoribbá váljon, hogy azok a cégek és szervezetek, amelyek most fekete doboz algoritmusokat fejlesztenek, átláthatóságot és elszámoltathatóságot kínáljanak, például „elfogultsági jutalom kihívások” révén, ahol az egyének díjat kaphatnak problémák és egyenlőtlenségek felfedezéséért az AI modellekben.
“A közösségnek szélesebb körűnek kell lennie, mint a programozóknak,” mondja Skeadas. “A döntéshozóknak, újságíróknak, civil társadalomnak és nem technikai embereknek is részt kell venniük a rendszerek tesztelésében és értékelésében. És biztosítanunk kell, hogy a kevésbé képviselt csoportok, például a kisebbségi nyelveken beszélők vagy a nem többségi kultúrákból és perspektívákból származó egyének részt vehessenek ebben a folyamatban.”
Érdekesség: Az AI modellek tesztelésének és értékelésének folyamatai segíthetnek a mesterséges intelligencia fejlesztésében és finomításában, lehetővé téve, hogy biztonságosabb és etikusabb rendszereket építsenek.
Források: Humane Intelligence, NIST, Defcon konferencia.
