Az AI által okozott kék halál: CrowdStrike frissítési hiba bénította meg a rendszereket
Ma reggel számos légitársaság, fizetési feldolgozó, 911-es hívásközpont és tévécsatorna küzdött a működésképtelenséggel, miután a CrowdStrike Falcon biztonsági szoftverének hibás frissítése miatt a Windows alapú rendszerek kék halál (BSOD) hibával összeomlottak.
A Microsoft és a CrowdStrike egyaránt közölték, hogy „a hibás frissítést visszavonták”, így az IT rendszergazdák számára most a legfontosabb, hogy rendszereiket újra működőképessé tegyék. A Microsoft iránymutatása szerint a javítások az egyszerű, de bosszantótól a rendkívül időigényes és összetett megoldásokig terjednek, attól függően, hány rendszert kell javítani és hogyan vannak konfigurálva.
A Microsoft Azure állapotoldala több megoldást is javasol. Az első és legegyszerűbb, ha újra és újra megpróbáljuk újraindítani az érintett gépeket, így több esélyük van arra, hogy a CrowdStrike hibátlan frissítését letöltsék, mielőtt a hibás illesztőprogram BSOD-t okozna. A Microsoft szerint néhány ügyfelüknek akár 15-ször is újra kellett indítaniuk rendszereiket, hogy letöltsék a frissítést.
Ha az újraindítás nem működik
Ha az újraindítás többszöri próbálkozása sem oldja meg a problémát, a Microsoft azt javasolja, hogy állítsuk vissza rendszereinket egy 2023. július 18. 4:09 UTC előtti biztonsági mentésből (ez éppen éjfél után van, keleti parti idő szerint), amikor a CrowdStrike elkezdte terjeszteni a hibás frissítést. A CrowdStrike szerint a visszavont verziót 5:27 UTC-kor telepítették újra.
Ha ezek az egyszerűbb javítások nem működnek, előfordulhat, hogy biztonságos módban kell indítani a gépeket, hogy manuálisan törölhessük a BSOD hibákat okozó fájlt. Virtuális gépek esetében a Microsoft azt javasolja, hogy csatoljuk a virtuális lemezt egy ismert működő javító virtuális géphez, töröljük a fájlt, majd csatoljuk vissza az eredeti virtuális géphez.
A kérdéses fájl egy CrowdStrike illesztőprogram, amely a Windows/System32/Drivers/CrowdStrike/C-00000291*.sys helyen található. Miután eltűnik, a gépnek normálisan kell indulnia és letöltenie a hibátlan verziót az illesztőprogramból.
E fájl törlése minden egyes érintett rendszeren időigényes feladat, de még időigényesebb azoknak az ügyfeleknek, akik a Microsoft BitLocker meghajtó titkosítását használják az adatok védelmére. Mielőtt törölhetnénk a fájlt ezeken a rendszereken, szükség lesz a helyreállítási kulcsra, amely feloldja azokat a titkosított lemezeket és olvashatóvá teszi azokat (általában ez a folyamat láthatatlan, mivel a rendszer egyszerűen elolvassa a kulcsot, amely egy fizikai vagy virtuális TPM modulban van tárolva).
Ez problémákat okozhat azoknak a rendszergazdáknak, akik nem használnak kulcskezelést a helyreállítási kulcsok tárolására, mivel (tervezetten!) nem lehet hozzáférni egy meghajtóhoz a helyreállítási kulcs nélkül. Ha nincs meg az a kulcs, a kriptográfiai és infrastruktúra mérnök Tony Arcieri a Mastodonon ezt egy „önmaga okozta zsarolóvírus támadáshoz” hasonlította, ahol egy támadó titkosítja a rendszeren lévő lemezeket és visszatartja a kulcsot, amíg nem kap fizetést.
Még ha meg is van a helyreállítási kulcs, előfordulhat, hogy a kulcskezelő szerver is érintett a CrowdStrike hibában.
Továbbra is nyomon követjük a Microsoft és a CrowdStrike ajánlásait a javításokról, miközben mindkét cég állapotoldalai frissülnek.
„Megértjük a helyzet súlyosságát és mélyen sajnáljuk az okozott kellemetlenségeket és zavarokat,” írta George Kurtz, a CrowdStrike vezérigazgatója az X platformon, korábban Twitteren. „Minden érintett ügyfelünkkel együttműködve dolgozunk azon, hogy rendszereik újra működjenek és képesek legyenek szolgáltatásaikat biztosítani ügyfeleik számára.”
Érdekesség: Tudta, hogy az AI hibáinak egy része emberi mulasztásokból ered, mint például a nem megfelelően tesztelt frissítések?
Források: Microsoft, CrowdStrike, Mastodon
