Új Kalibrációs Módszer Nagy Nyelvi Modellekhez: Thermometer
A mesterséges intelligencia (AI) kutatói az MIT és az MIT-IBM Watson AI Lab együttműködésében egy új, nagy nyelvi modellekhez (LLM-ekhez) kifejlesztett kalibrációs módszert mutattak be. Az új módszer, amely a „Thermometer” nevet kapta, egy kisebb segédmodellt épít a nagy nyelvi modell tetejére, hogy kalibrálja azt.
A hagyományos kalibrációs módszerek nem hatékonyak az LLM-ek esetében, mivel ezek a modellek számos különböző feladatra alkalmazhatók. Az új módszer, a Thermometer, energiahatékonyabb, kevesebb számítási kapacitást igényel, miközben megőrzi a modell pontosságát és jobb kalibrált válaszokat ad olyan feladatokon is, amelyeket korábban nem látott.
Univerzális Kalibráció
A hagyományos gépi tanulásos modellek általában egyetlen feladatra vannak tervezve, így a kalibrációjuk is egy feladatspecifikus módszert igényel. Az LLM-ek sokféle feladatot képesek elvégezni, ezért egy hagyományos módszer alkalmazása egy feladatra ronthatja a teljesítményt egy másik feladaton.
A Thermometer modell egy klasszikus kalibrációs módszert, a hőmérséklet-skálázást alkalmazza, hogy hatékonyan kalibrálja az LLM-et egy új feladatra. Ebben az összefüggésben a „hőmérséklet” egy skálázási paraméter, amelyet a modell bizalmának a predikciós pontossággal való összehangolására használnak.
A kutatók egy segédmodellt képeznek ki, amely automatikusan megjósolja a szükséges hőmérsékletet a kalibrációhoz. A Thermometer modellt képzett adathalmazokkal tanítják, de miután kiképezték, képes általánosítani új feladatokra hasonló kategóriákban további címkézett adatok nélkül.
Hatékony Megközelítés
Fontos, hogy a technika nem igényel többszörös tréning futtatást, és csak kissé lassítja az LLM-et. Mivel a hőmérséklet-skálázás nem változtatja meg a modell predikcióit, a Thermometer megőrzi annak pontosságát.
A kutatók azt találták, hogy ha egy kisebb LLM-re képeznek ki egy Thermometer modellt, akkor az közvetlenül alkalmazható egy nagyobb LLM kalibrálására ugyanazon családon belül.
A jövőben a kutatók a Thermometer módszert komplexebb szöveg-generálási feladatokra szeretnék adaptálni és még nagyobb LLM-ekre alkalmazni. Remélik, hogy kvantifikálni tudják a címkézett adathalmazok sokféleségét és számát, amelyre szükség van egy Thermometer modell kiképzéséhez, hogy új feladatra általánosíthasson.
Érdekesség: Az AI modellek kalibrációja nem új keletű probléma. Az első kalibrációs technikákat a 2000-es évek elején fejlesztették ki, de azóta sokat fejlődtek.
Források: MIT News, MIT-IBM Watson AI Lab
