AI segíti az AI-t: Az emberi visszajelzések és az új technikák találkozása
Egyik legfontosabb összetevője, amely ChatGPT-t hatalmas sikeressé tette, az emberi trénerek serege volt, akik útmutatást adtak a mesterséges intelligencia modellnek arról, mi számít jó és rossz outputnak. Az OpenAI most azt mondja, hogy még több AI hozzáadása a keverékhez – az emberi trénerek segítésére – segíthet az AI asszisztensek okosabbá és megbízhatóbbá tételében.
Az OpenAI a ChatGPT fejlesztése során úttörő szerepet játszott az emberi visszajelzéssel történő megerősítéses tanulás (RLHF) alkalmazásában. Ez a technika emberi tesztelők visszajelzését használja az AI modell finomhangolására, hogy annak outputját összefüggőbbé, kevésbé kifogásolhatóvá és pontosabbá tegye. A trénerek által adott értékelések olyan algoritmusba táplálkoznak, amely a modell viselkedését vezérli.
Ez a technika kulcsfontosságú volt mind a chatbotok megbízhatóbbá és hasznosabbá tételében, mind a nem kívánt viselkedésük megelőzésében. „Az RLHF nagyon jól működik, de vannak kulcsfontosságú korlátai” – mondja Nat McAleese, az OpenAI kutatója, aki részt vett az új munkában. Egyrészt az emberi visszajelzések lehetnek következetlenek. Másrészt még a képzett emberek számára is nehéz lehet az extrém összetett outputok, például a kifinomult szoftverkódok értékelése.
Az OpenAI egy új modellt fejlesztett ki legnagyobb teljesítményű ajánlatának, a GPT-4-nek a finomhangolásával, hogy segítse az emberi trénereket a kód értékelésében. A cég azt találta, hogy az új modell, amelyet CriticGPT-nek neveztek el, képes volt olyan hibákat észrevenni, amelyeket az emberek nem vettek észre, és az emberi bírák 63 százalékban jobbnak találták a kód kritikai értékelését.
„Már elkezdtük az integrációs munkát, hogy ezt a technikát beépítsük az RLHF chat stackünkbe” – mondja McAleese. Megjegyzi, hogy a megközelítés nem tökéletes, mivel a CriticGPT is hibázhat hallucinációk által, de hozzáteszi, hogy a technika segíthet az OpenAI modelljeinek, valamint olyan eszközök, mint a ChatGPT, pontosabbá tételében az emberi tréning hibáinak csökkentésével.
A hónap elején az OpenAI riválisa, az ex-OpenAI alkalmazottak által alapított Anthropic bejelentette saját chatbotjának, Claude-nak egy jobb változatát, köszönhetően a modell tréning rezsimjének és az adatainak javításainak. Az új technika segíthet az OpenAI-nak egyre erősebb AI modellek tréningjében, miközben biztosítja, hogy outputjuk megbízhatóbb és az emberi értékekhez igazodóbb legyen.
Érdekes tény: Az RLHF technika egyik korai fejlesztője, Ilya Sutskever, az OpenAI társalapítója volt, aki rövid időre eltávolította Sam Altmant a cég vezérigazgatói posztjáról, mielőtt visszavonult és segített neki visszaszerezni a kontrollt. Források: OpenAI, MIT, Anthropic
