Új AI Eszköz Forradalmasítja a Medikai Képalkotást
A nem szakértők számára egy orvosi kép, mint például egy MRI vagy röntgen, egy zavaros fekete-fehér foltokból álló gyűjteménynek tűnhet. Nehézséget okozhat meghatározni, hogy egy adott struktúra (például egy daganat) hol ér véget és egy másik hol kezdődik. Az AI rendszerek, amelyek képesek megérteni a biológiai struktúrák határait, segíthetnek a régiók azonosításában, amelyeket az orvosok és a biomedikai szakemberek figyelemmel szeretnének kísérni a betegségek és egyéb rendellenességek szempontjából.
Az MIT Számítástechnikai és Mesterséges Intelligencia Laboratóriumának (CSAIL), a Massachusetts General Hospitalnak (MGH) és a Harvard Orvosi Iskolának kutatói kifejlesztették az interaktív „ScribblePrompt” keretrendszert, amely rugalmas eszközként szolgálhat bármilyen orvosi kép gyors szegmentálásához, még olyan típusokhoz is, amelyeket még nem látott. A csapat több mint 50,000 felvételt, köztük MRI-ket, ultrahangokat és fényképeket szimulált, hogy megértsék, hogyan jelölnének az emberek különböző struktúrákat.
Az AI jelentős potenciállal bír a képek és más magas dimenziós adatok elemzésében, hogy segítsen az embereknek produktívebben dolgozni – mondja Hallee Wong, az MIT doktorandusz hallgatója. “A ScribblePrompt célja, hogy kiegészítse, ne helyettesítse az orvosi dolgozók erőfeszítéseit egy interaktív rendszer révén.”
A ScribblePrompt interfésze egyszerű: a felhasználók a kívánt terület fölé írhattak, vagy rákattinthattak, és az eszköz kiemeli az egész struktúrát vagy háttérterületet. A felhasználók akár egy „negatív írást” is alkalmazhatnak, hogy kizárjanak bizonyos régiókat a szegmentált területről. Ezen önkorrekciós, interaktív képességek tették a ScribblePrompt-ot a neuroimaging kutatók kedvenc eszközévé az MGH-nál végzett felhasználói vizsgálat során.
A ScribblePrompt a szimulált írások és kattintások alapján 54,000 képen, 65 adatbázison tanult, beleértve a szemek, a mellkas, a gerinc, a sejtek és a bőr felvételeit. A modell 16 különböző típusú orvosi kép mellett ismerte meg magát, beleértve a mikroszkópokat, CT felvételeket, röntgenfelvételeket, MRI-ket és ultrahangokat.
“A ScribblePrompt lehetővé teszi a manuális annotációk sokkal gyorsabb és pontosabb végrehajtását, mivel a hagyományos módszerek nem reagálnak jól, amikor a felhasználók a képek fölé írnak” – mondja Wong. “Célunk egy alapmodell oktatása volt sokféle adaton, hogy általánosítsa az új típusú képekhez és feladatokhoz.”
Wong és kollégái munkáját a 2024-es Európai Számítógépes Látás Konferencián mutatják be, és a DCAMI workshopon, amely a Számítógépes Látás és Minta Felismerés Konferencián zajlott, már előadták. Az ő munkájukat a ScribblePrompt klinikai hatásának potenciálja miatt a Bench-to-Bedside Paper Award díjjal jutalmazták.
Érdekesség: A ScribblePrompt képes a felhasználói interakciókat szimulálni, így a mesterséges intelligencia modellek képesek jobban tanulni a valós idejű annotációs feladatokból.
Források: MIT CSAIL, Massachusetts General Hospital, Harvard Medical School
