Új megközelítés a gépi tanulás bizonytalanságának kvantifikálásában
Because machine-learning models can give false predictions, researchers often equip them with the ability to tell a user how confident they are about a certain decision. This is especially important in high-stake settings, such as when models are used to help identify disease in medical images or filter job applications. But a model’s uncertainty quantifications are only useful if they are accurate. If a model says it is 49 percent confident that a medical image shows a pleural effusion, then 49 percent of the time, the model should be right. MIT researchers have introduced a new approach that can improve uncertainty estimates in machine-learning models. Their method not only generates more accurate uncertainty estimates than other techniques, but does so more efficiently.
In addition, because the technique is scalable, it can be applied to huge deep-learning models that are increasingly being deployed in health care and other safety-critical situations. This technique could give end users, many of whom lack machine-learning expertise, better information they can use to determine whether to trust a model’s predictions or if the model should be deployed for a particular task.
„Könnyű látni, hogy ezek a modellek nagyon jól teljesítenek olyan forgatókönyvekben, ahol nagyon jók, és aztán feltételezni, hogy más forgatókönyvekben is ugyanolyan jók lesznek. Ez különösen fontossá teszi az ilyen munkák előmozdítását, amelyek célja a modellek bizonytalanságának jobb kalibrálása annak érdekében, hogy azok összhangban legyenek az emberek bizonytalanságának fogalmával,” mondja Nathan Ng vezető szerző, a Torontói Egyetem végzős hallgatója, aki az MIT vendéghallgatója.
Ng a cikket Roger Grosse, a Torontói Egyetem számítástechnika adjunktusa; és Marzyeh Ghassemi, az Elektromos Mérnöki és Számítástechnikai Tanszék docense, valamint az Orvosi Mérnöki Tudományok Intézetének és az Információs és Döntéshozatali Rendszerek Laboratóriumának tagja. A kutatás eredményeit az International Conference on Machine Learning konferencián fogják bemutatni.
A bizonytalanság kvantifikálása
A bizonytalanság kvantifikálási módszerei gyakran bonyolult statisztikai számításokat igényelnek, amelyek nem skálázhatóak a millió paraméterrel rendelkező gépi tanulási modellek esetében. Ezek a módszerek azt is megkövetelik a felhasználóktól, hogy feltételezéseket tegyenek a modellről és az adatról, amelyet a modell betanítására használtak.
Az MIT kutatói más megközelítést alkalmaztak. Az úgynevezett minimális leírási hosszúság elvet (MDL) használták, amely nem igényli azokat a feltételezéseket, amelyek ronthatják más módszerek pontosságát. Az MDL-t a tesztpontok bizonytalanságának jobb kvantifikálására és kalibrálására használják, amelyeket a modellnek címkéznie kell.
A kutatók által kifejlesztett technika, az IF-COMP néven ismert, az MDL-t elég gyorssá teszi ahhoz, hogy a valós világban alkalmazott nagy mélytanulási modellekkel is használható legyen. Az MDL magában foglalja az összes lehetséges címke figyelembevételét, amelyet a modell egy tesztpontra adhat. Ha sok alternatív címke van erre a pontra, amelyek jól illeszkednek, akkor a modell bizalma az általa választott címkében ennek megfelelően csökken.
„Egy módja annak, hogy megértsük, mennyire magabiztos egy modell, az lenne, ha elmondanánk neki néhány ellenkező információt, és megnéznénk, mennyire hajlandó hinni nekünk,” mondja Ng.
Például, ha egy modell azt mondja, hogy egy orvosi kép pleurális folyadékgyülemet mutat, és a kutatók azt mondják a modellnek, hogy ez a kép ödémát mutat, és a modell hajlandó felülvizsgálni a hitét, akkor a modellnek kevésbé kellene biztosnak lennie az eredeti döntésében.
A folyamat felgyorsítása
Az IF-COMP segítségével a kutatók egy közelítési technikát fejlesztettek ki, amely pontosan meg tudja becsülni a sztochasztikus adatkomplexitást egy speciális függvény, az úgynevezett hatásfüggvény segítségével. Emellett egy statisztikai technikát, az úgynevezett hőmérséklet-skálázást alkalmazták, amely javítja a modell kimeneteinek kalibrációját. Ez a hatásfüggvények és a hőmérséklet-skálázás kombinációja lehetővé teszi a sztochasztikus adatkomplexitás magas színvonalú közelítését.
Végül az IF-COMP hatékonyan képes jól kalibrált bizonytalansági kvantifikációkat előállítani, amelyek tükrözik a modell valódi bizalmát. A technika azt is meg tudja határozni, hogy a modell bizonyos adatpontokat rosszul címkézett-e meg, vagy feltárhatja, mely adatpontok kiugrók.
A kutatók három feladaton tesztelték rendszerüket, és azt találták, hogy gyorsabb és pontosabb volt, mint más módszerek.
„Nagyon fontos, hogy biztosak legyünk abban, hogy egy modell jól kalibrált, és egyre nagyobb szükség van annak felismerésére, amikor egy adott előrejelzés nem tűnik teljesen helyesnek. Az auditálási eszközök egyre szükségesebbek a gépi tanulási problémákban, mivel nagy mennyiségű vizsgálatlan adatot használunk olyan modellek készítéséhez, amelyeket emberi problémák megoldására alkalmazunk,” mondja Ghassemi.
Az IF-COMP modell-agnosztikus, így sokféle gépi tanulási modell esetében pontos bizonytalansági kvantifikációkat tud biztosítani. Ez lehetővé teheti, hogy szélesebb körű valós világban alkalmazzák, végső soron segítve több gyakorló szakembert a jobb döntések meghozatalában.
„Az embereknek meg kell érteniük, hogy ezek a rendszerek nagyon esendőek és képesek dolgokat kitalálni menet közben. Egy modell úgy tűnhet, mintha nagyon magabiztos lenne, de rengeteg különböző dolog van, amit hajlandó elhinni az ellenkező bizonyítékok alapján,” mondja Ng.
A jövőben a kutatók érdeklődnek a megközelítésük nagy nyelvi modellekre való alkalmazása és az MDL elv további potenciális felhasználási eseteinek tanulmányozása iránt.
Érdekesség: Az AI egyik legkorábbi megvalósítása a sakkjátékban volt, ahol az 1950-es években Claude Shannon javasolta az első algoritmust.
Források: MIT News, International Conference on Machine Learning, Torontói Egyetem
