Milliókat érintett a hibás CrowdStrike frissítés
Hétfő reggelre a CrowdStrike biztonsági szoftver legutóbbi hibás frissítése által okozott nagyobb zavarok többsége megszűnt. A repülési késések és törlések már nem voltak címlapon, és a környéki Starbucks üzletek ismét fogadják a rendeléseket az alkalmazáson keresztül.
Azonban a helyreállítási munkák tovább folytatódnak. A Microsoft becslése szerint körülbelül 8,5 millió Windows rendszer volt érintett a problémában, amely egy hibás .sys fájlt tartalmazott, amit automatikusan letöltöttek a CrowdStrike Falcon biztonsági szoftvert futtató Windows PC-k. A letöltést követően az érintett rendszerek a rettegett Kék Halál képernyőt jelenítették meg, és végtelen újraindítási ciklusba kerültek.
„Bár a szoftverfrissítések időnként okozhatnak zavarokat, a CrowdStrike eseményhez hasonló jelentős események ritkák” – írta David Weston, a Microsoft Vállalati és Operációs Rendszer Biztonsági alelnöke egy blogbejegyzésben. „Jelenleg úgy becsüljük, hogy a CrowdStrike frissítése 8,5 millió Windows eszközt érintett, ami kevesebb mint egy százaléka az összes Windows gépnek. Bár a százalék kicsi, a széleskörű gazdasági és társadalmi hatások tükrözik, hogy a CrowdStrike-ot számos kritikus szolgáltatást futtató vállalat használja.”
Az „egyszerű” javítás, amelyet mind a CrowdStrike (amely közvetlenül felelős ezért), mind a Microsoft (amely sok hibáztatást kapott a független július 18-i Azure leállás miatt is) dokumentált, az volt, hogy az érintett rendszereket újra és újra újraindítják abban a reményben, hogy letöltik az új frissítési fájlt mielőtt összeomlanának. Azoknál a rendszereknél, ahol ez a módszer nem működött – és a Microsoft azt javasolta, hogy az ügyfelek akár 15-ször is indítsák újra a számítógépeket, hogy esélyt adjanak az új frissítés letöltésére – az ajánlott megoldás az volt, hogy manuálisan töröljék a hibás .sys fájlt. Ez lehetővé teszi a rendszer indítását és egy javított fájl letöltését, megoldva az összeomlásokat anélkül, hogy a gépek védtelenek maradnának.
A folyamat megkönnyítése érdekében a Microsoft a hétvégén kiadott egy helyreállítási eszközt, amely segít automatizálni a javítási folyamatot néhány érintett rendszeren; ez magában foglalja egy 1GB-tól 32GB-ig terjedő USB-meghajtó használatát, amelyről a rendszer indítható, és két lehetőség egyikét használja a rendszer javítására. Azoknál az eszközöknél, amelyek nem tudnak USB-ről indítani – néha ez le van tiltva a vállalati rendszereken biztonsági okokból – a Microsoft egy PXE boot opciót is dokumentál a hálózaton keresztüli indításhoz.
WinPE a megmentő
A bootolható meghajtó a WinPE környezetet használja, amely egy könnyű, parancssoros verziója a Windowsnak, amelyet általában IT-adminisztrátorok használnak Windows képek alkalmazására és helyreállítási és karbantartási műveletek elvégzésére.
Az egyik javítási lehetőség közvetlenül a WinPE-be bootol, és az érintett fájlt rendszergazdai jogosultságok nélkül törli. De ha a meghajtója BitLocker vagy más lemeztitkosító termék által védett, manuálisan kell megadnia a helyreállítási kulcsát, hogy a WinPE olvashassa a meghajtón lévő adatokat és törölhesse a fájlt. A Microsoft dokumentációja szerint az eszköznek automatikusan törölnie kell a hibás CrowdStrike frissítést, amint képes olvasni a lemezt.
Ha BitLockert használ, a második helyreállítási lehetőség megpróbálja a Windowst Biztonságos Módba indítani, a TPM-ben tárolt helyreállítási kulcsot használva automatikusan feloldja a lemezt, ahogy ez egy normál indítás során történik. A Biztonságos Mód betölti a Windows indításához szükséges minimális illesztőprogramokat, lehetővé téve, hogy megtalálja és törölje a CrowdStrike illesztőprogram fájlt anélkül, hogy a BSOD problémába ütközne. A fájl a Windows/System32/Drivers/CrowdStrike/C-00000291*.sys helyen található az érintett rendszereken, vagy a felhasználók futtathatják a „repair.cmd” fájlt az USB meghajtóról a javítás automatizálásához.
A CrowdStrike saját részéről létrehozott egy „helyreállítási és útmutató központot” az érintett ügyfelek számára. Vasárnapig a cég azt mondta, hogy „egy új technikát tesztel az érintett rendszerek helyreállításának felgyorsítására”, de további részleteket még nem osztott meg. A többi javítás, amit azon az oldalon vázoltak fel, többek között az újraindítás többszöri próbálkozása, az érintett fájl manuális törlése, vagy a Microsoft boot médiájának használata a javítás automatizálásának segítésére.
A CrowdStrike leállása nemcsak a repüléseket késleltette és megnehezítette a kávérendelést. Az orvosi rendelőket és kórházakat, 911-es segélyhívó szolgáltatásokat, hotelbejelentkezési és kulcskártya rendszereket, valamint a munkáltatók által kiadott számítógépeket is érintette, amelyek online voltak és frissítéseket kaptak, amikor a hibás frissítés elküldésre került. A Microsoft az ügyfél PC-k és az Azure felhőjében tárolt virtuális gépek javításának biztosítása mellett azt mondja, hogy együttműködik a Google Cloud Platformmal, az Amazon Web Services-szel és „más felhőszolgáltatókkal és érintettekkel” is, hogy javításokat biztosítson a versenytársai felhőjében futó Windows virtuális gépek számára.
Érdekesség: Tudta, hogy a mesterséges intelligencia képes felismerni és előre jelezni a szoftverfrissítések során fellépő hibákat? Az AI-alapú rendszerek folyamatosan tanulhatnak a múltbeli hibákból, így csökkentve a jövőbeni problémák előfordulását.
Forrás: Microsoft blog, CrowdStrike hivatalos weboldal
