Az AI lövésérzékelés pontosságának rejtélye végre feltárul


Mesterséges intelligencia San Jose városában: Lőfegyverek hangfelismerése

Liz González keleti San Jose-i szomszédsága zajos lehet. Néhány szomszédja szeretné, ha az egész utca hallaná az autóikat, mások minden alkalomra tűzijátékokat gyújtanak, és időnként lövések is hallatszanak.

2023 februárjában San Jose elkezdte tesztelni az Flock Safety nevű cég mesterséges intelligencia alapú lövésérzékelő technológiáját a város több részén, beleértve González szomszédságát is. A próba első négy hónapjában az Flock lövésérzékelő rendszere 123 lövöldözési eseményről értesítette a rendőrséget. Azonban a San Jose-i Digitális Adatvédelmi Iroda által közzétett új adatok szerint ezeknek az értesítéseknek csak 50 százaléka volt valóban megerősített lövés, míg 34 százalékuk hamis pozitívnak bizonyult, azaz az Flock Safety rendszere helytelenül azonosította más hangokat – például tűzijátékokat, építkezést vagy autók visszadurrogását – lövöldözési eseményként.

Miután az Flock 2023 júliusában újra kalibrálta szenzorait, az értesítések 81 százaléka megerősített lövés volt, 7 százalék hamis riasztás, és 12 százalék nem volt meghatározható. Két évtizede a városok országszerte automatizált lövésérzékelő rendszereket használnak, hogy gyorsan kiküldjék a rendőrséget a feltételezett lövöldözések helyszínére. De megbízható adatok a rendszerek pontosságáról és a hamis riasztások gyakoriságáról nehezen, ha egyáltalán elérhetők a nyilvánosság számára.

San Jose, amely vezető szerepet vállalt az AI rendszerek felelős kormányzati használatának meghatározásában, úgy tűnik, az egyetlen város, amely megköveteli a rendőrségtől, hogy közzétegye a lövésérzékelő rendszer pontossági adatait. A május 31-én közzétett jelentés az első alkalom, hogy közzétették ezeket az információkat.

A hamis pozitív arány különösen aggasztó a színes bőrű közösségek számára, akik attól tartanak, hogy a lövésérzékelő rendszerek feleslegesen küldik a rendőrséget olyan környékekre, ahol lövöldözést feltételeznek. „Számunkra bármilyen interakció a rendőrséggel potenciálisan veszélyes lehet,” mondja González, a San Jose-i közösségi érdekképviseleti csoport, a Silicon Valley De-Bug szervezője.

San Jose nem próbálta számszerűsíteni, hogy hány lövöldözési eseményt nem észlelt az Flock rendszer a lefedett területen, amit hamis negatív aránynak is neveznek. Azonban a jelentés szerint „világos, hogy a rendszer nem érzékel minden lövést, amit a rendőrség elvárna”.

Az Flock Safety szerint a Raven lövésérzékelő rendszere 90 százalékos pontosságú. A SoundThinking, amely a ShotSpotter rendszert forgalmazza, a legnépszerűbb lövésérzékelő technológia a piacon. Ők 97 százalékos pontossági arányt állítanak. De a San Jose-i és néhány más közösségből származó adatok arra utalnak, hogy a rendszerek – amelyek számítógépes algoritmusokat, és a SoundThinking esetében emberi felülvizsgálókat használnak az érzékelők által rögzített hangok lövésként való meghatározására – kevésbé megbízhatóak, mint ahogy azt hirdetik.

Tavaly a CU-CitizensAccess újságírói adatokat szereztek Champaign, Illinois-ból, amelyek azt mutatták, hogy a város Raven rendszerének hat hónap alatt generált 64 riasztásának csak 8 százaléka volt megerősíthető lövésként. 2021-ben a Chicagói Felügyelői Hivatal arról számolt be, hogy egy 17 hónapos időszak alatt a város ShotSpotter rendszere által generált 41,830 riasztásnak csak 9 százaléka volt összekapcsolható fegyveres bűncselekmények bizonyítékaival.

A SoundThinking kritikával illette a Chicagói Felügyelői Hivatal jelentését, mondván, hogy „hiányos és összeférhetetlen adatokra” támaszkodik. Ezen a héten New York City számlálója hasonló auditot tett közzé a város ShotSpotter rendszeréről, amely azt mutatta, hogy a rendszer által generált riasztásoknak csak 13 százalékát lehetett megerősíteni lövésként. Az auditorok megjegyezték, hogy bár az NYPD rendelkezik a szükséges információkkal a ShotSpotter pontossági adatainak közzétételéhez, ezt nem teszik meg. Az osztály elszámoltathatósági intézkedéseit „elégtelennek” és „nem megfelelőnek” nevezték a rendszer hatékonyságának bemutatásához.

Champaign és Chicago azóta megszüntették szerződéseiket az Flock Safety és a SoundThinking cégekkel. „A Raven több mint 90 százalékos pontossággal érzékeli a lövéseket, és körülbelül ugyanilyen pontossággal érzékeli a tűzijátékokat is,” mondja Josh Thomas, az Flock Safety politikai és kommunikációs alelnöke a WIRED-nek adott nyilatkozatában. „És ami kritikus, a Raven értesíti a rendőröket olyan lövöldözési eseményekről, amelyekről egyébként nem tudnának. A San Jose-i jelentésben például a 111 megerősített lövésriasztásból az SJPD szerint csak 6 százalékot hívtak be a 911-es számra.”

Eric Piza, a Northeastern University kriminológia professzora, az elérhető legátfogóbb tanulmányokat végezte a lövésérzékelő rendszerekről. Egy nemrégiben készült tanulmányában, amely a chicagói és a kansasi lövöldözési eseményeket vizsgálta, csapata elemzése azt mutatta, hogy a rendőrök gyorsabban reagáltak a lövöldözési eseményekre, közelebb álltak meg a lövöldözések helyszínéhez, és több ballisztikus bizonyítékot gyűjtöttek, amikor automatizált lövésriasztásokra reagáltak, szemben a 911-es hívásokkal. Azonban nem csökkent a fegyveres bűncselekmények száma, és a rendőrök nem voltak nagyobb valószínűséggel a fegyveres bűncselekmények megoldására azokon a területeken, ahol lövésérzékelők voltak, mint azokon a területeken, ahol nem voltak ilyen rendszerek.

Egy másik kansasi tanulmányban Piza azt találta, hogy a lövések jelentései azokon a területeken, ahol lövésérzékelők voltak, 15 százalékkal nagyobb valószínűséggel minősültek alaptalannak, összehasonlítva azokkal a területekkel, ahol nem voltak ilyen rendszerek, ahol a rendőrök a 911-es hívásokra és más jelentési módszerekre támaszkodtak volna.

„Ha megnézzük a rendszer különböző céljait, a kutatások azt mutatják, hogy a [lövésérzékelő technológia] általában gyorsabb rendőri reagálási időket eredményez,” mondja Piza. „De a kutatások következetesen azt mutatták, hogy a lövéses erőszak áldozatainak száma nem csökken a lövésérzékelő technológia bevezetése után.”

New York City számlálója azt javasolta, hogy az NYPD ne újítsa meg a jelenlegi 22 millió dolláros szerződését a SoundThinking céggel, anélkül, hogy először alaposabb teljesítményértékelést végezne. Az audit válaszában az NYPD azt írta, hogy „a ShotSpotter szolgáltatások meg nem újítása veszélyeztetheti a közbiztonságot.”

A san jose-i Digitális Adatvédelmi Iroda jelentésében azt javasolta, hogy a rendőrség tovább keresse a pontosság javításának módjait, ha továbbra is használni kívánja a Raven rendszert. A jelentés megállapítására hivatkozva, hogy a rendszer által érzékelt megerősített lövöldözéseknek csak 6 százalékát jelentették a rendőrségnek 911-es hívások vagy más módon, a rendőrségi szóvivő, Jorge Garibay őrmester azt mondja a WIRED-nek, hogy az SJPD továbbra is használni fogja a technológiát. „A rendszer továbbra is hasznos bizonyítékot nyújt különböző erőszakos fegyveres bűncselekményekhez,” mondja. „A remény az, hogy több bűncselekményt oldjunk meg, és növeljük a letartóztatási erőfeszítéseket, ami kívánatos módon a fegyveres erőszak csökkenéséhez vezethet.”

A rendőrségi médiaosztály nem tudott azonnal információt találni arról, hogy mennyit fizet az SJPD az Flock Safety-nek a Raven rendszerért, vagy hogy mennyi időre szól a szerződés.

Darcie Green, a közösségi egészségvédelmi szószóló és a San Jose korábbi Közbiztonsági Közösségi Tanácsadó Csoportjának tagja szerint az adatok pontosságáról való tájékoztatás jó lépés, de a városnak azt is meg kell vizsgálnia, hogy a technológia valóban biztonságosabbá teszi-e a várost, vagy hogy a valódi és hamis lövésriasztásokra való reagálásra fordított pénz és emberi erőforrások máshol jobban felhasználhatók lennének-e.

„Nyilvánvaló, hogy szeretnénk csökkenteni a fegyveres erőszakot, ez mindenki célja,” mondja. „Azokra a dollárokra, amelyeket az érvényesítésre és a büntetésre költünk, három-, négy-, ötszörösét kellene költenünk programokra és fejlesztésre. Olyan sok ember van, akik számára a rendőrség hívása nem megoldás.”

González, a keleti San Jose-i közösségi szervező, azt mondja, hogy a lövöldözések 911-es hívásainak hiánya annak a tükröződése, hogy milyen kevéssé bíznak a közösségük rendőri válaszában.

„Volt idő, amikor egy helikopter keresett valakit a környékünkön, és biztos voltam benne, hogy az én kertemben vannak, de nem akartam hívni a rendőrséget, mert esetleg lelőhetnek engem vagy a családomat, összetévesztve engem azzal a személlyel,” mondja. „Inkább lenne az a személy a kertemben, mint a rendőrség, akik őt keresik.”

Érdekesség: A mesterséges intelligencia alapú hangfelismerő rendszerek fejlődése lehetővé teszi a különböző hangforrások, például az emberi beszéd, az állati hangok és a környezeti zajok pontos azonosítását, ami új lehetőségeket nyit meg a biztonság és a kommunikáció terén.

Források: WIRED, San Jose-i Digitális Adatvédelmi Iroda, New York City Comptroller Office, CU-CitizensAccess, Northeastern University, Silicon Valley De-Bug.