Események
A Cursor AI Botja Káoszt Teremtett a Felhasználók Körében
Hétfőn egy fejlesztő, aki a népszerű AI-alapú kód szerkesztőt, a Cursor-t használta, észrevett valami furcsát: a gépek közötti váltás azonnal kijelentkezett, ami megszakította a programozók szokásos munkafolyamatát, akik több eszközt használnak. Amikor a felhasználó kapcsolatba lépett a Cursor támogatásával, egy „Sam” nevű ügynök azt mondta neki, hogy ez az új irányelv várható viselkedése. De ilyen irányelv nem létezett, és Sam egy bot volt. Az AI modell kitalálta az irányelvet, ami panaszok és lemondási fenyegetések hullámát váltotta ki, amelyet a Hacker News és a Reddit dokumentált.
Ez a legújabb eset az AI konfabullációinak (más néven „hallucinációknak”) esetleges üzleti kárt okozó hatásáról. A konfabullációk a „kreatív űrkitöltés” válaszainak egy típusa, ahol az AI modellek plauzibilis, de hamis információkat találnak ki. Ahelyett, hogy elismernék a bizonytalanságot, az AI modellek gyakran a plauzibilis, magabiztos válaszok létrehozását helyezik előtérbe, még akkor is, ha ez azt jelenti, hogy az információt teljesen újra kell gyártani.
Az ilyen rendszerek ügyfélkapcsolati szerepekben történő alkalmazása emberi felügyelet nélkül azonnali és költséges következményekkel járhat: frusztrált ügyfelek, megrongálódott bizalom, és a Cursor esetében potenciálisan lemondott előfizetések.
Hogyan Történt
Az eset akkor kezdődött, amikor egy Reddit felhasználó, akit BrokenToasterOven-nek hívtak, észrevette, hogy amikor váltogat a desktop, laptop és távoli fejlesztői gép között, a Cursor munkamenetei váratlanul megszakadtak. „A Cursorba való bejelentkezés egy gépen azonnal érvényteleníti a munkamenetet bármely más gépen,” írta BrokenToasterOven egy üzenetben, amelyet később töröltek az r/cursor moderátorai.
Konfúz és frusztrált, a felhasználó e-mailt írt a Cursor támogatásának, és gyorsan választ kapott Sam-től: „A Cursor egy eszközt tervezett használni, per előfizetés, mint alapvető biztonsági funkció,” állt a válaszban. A válasz határozottnak és hivatalosnak tűnt, és a felhasználó nem gyanította, hogy Sam nem ember.
Az első Reddit poszt után a felhasználók hivatalos megerősítésként vették az új irányelvet, amely megszegte sok programozó napi rutinját. „A több eszközös munkafolyamatok alapvetőek a fejlesztők számára,” írta az egyik felhasználó. Néhány felhasználó nyilvánosan bejelentette előfizetésük lemondását a Reddit-en, hivatkozva a nem létező irányelvre okként. „Szó szerint most mondtam le az előfizetésem,” írta az eredeti Reddit posztoló, hozzátéve, hogy munkahelyük most „teljesen eltávolítja azt.” Mások is csatlakoztak: „Igen, én is lemondom, ez abszurd.” Néhány órával később a moderátorok lezárták a Reddit szálat és eltávolították az eredeti posztot.
Az AI Konfabullációk Üzleti Kockázatként
A Cursor ügy felidézi a hasonló epizódot 2024 februárjából, amikor az Air Canada-t arra kötelezték, hogy tiszteletben tartson egy visszatérítési politikát, amelyet a saját chatbotja talált ki. Ebben az esetben Jake Moffatt kapcsolatba lépett az Air Canada támogatásával, miután a nagymamája meghalt, és a légitársaság AI ügynöke tévesen mondta neki, hogy normál áron foglalhat repülőjegyet, és visszamenőlegesen kérheti a gyászolási kedvezményeket. Amikor az Air Canada később elutasította a visszatérítési kérelmét, a cég azt állította, hogy „a chatbot egy külön jogi entitás, amely a saját cselekedeteiért felelős.” Egy kanadai bíróság elutasította ezt a védelmet, kimondva, hogy a cégek felelősek az AI eszközeikkel nyújtott információkért.
A Cursor, ahelyett, hogy vitatta volna a felelősséget, elismerte a hibát és lépéseket tett a helyrehozás érdekében. A Cursor társalapítója, Michael Truell később bocsánatot kért a Hacker News-on a nem létező irányelv miatti zűrzavarért, elmagyarázva, hogy a felhasználót visszatérítették, és a probléma a háttérben történt változtatás következménye volt, amely a munkamenet biztonságának javítását célozta, de véletlenül megszakítási problémákat okozott egyes felhasználók számára.
„Minden AI válasz, amelyet e-mail támogatásra használnak, most már egyértelműen fel van tüntetve, mint ilyen,” tette hozzá. „AI-támogatott válaszokat használunk az e-mail támogatás első szűrőjeként.” Mégis, az eset továbbra is kérdéseket vetett fel a felhasználók közötti nyilvánosságra hozatalról, mivel sokan, akik Sam-mel kommunikáltak, nyilvánvalóan azt hitték, hogy az emberi lény. „Az LLM-ek, amelyek emberekként viselkednek (nevezted Sam-nak!) és nem úgy vannak megjelölve, hogy az nyilvánvalóan megtévesztésre irányul,” írta az egyik felhasználó a Hacker News-on.
Míg a Cursor megoldotta a technikai hibát, az epizód bemutatja az AI modellek ügyfélkapcsolati szerepekben való alkalmazásának kockázatait megfelelő védelem és átláthatóság nélkül. Az olyan cég számára, amely AI termelékenységi eszközöket értékesít fejlesztőknek, a saját AI támogatási rendszerének egy olyan irányelvet kitalálni, amely elidegenítette alap felhasználóit, különösen kínos önmagának okozott sebet jelent.
Érdekes tény: Az AI modellek, mint a ChatGPT, naponta több millió kérdést válaszolnak meg, de a válaszok pontossága és megbízhatósága érdekében az emberek felügyelete és utólagos ellenőrzés szükséges.
Források: Ars Technica, Hacker News
