16 листопада, 19:00
4

Збій Microsoft 365 призвів до отруєння хлором 15 відвідувачів готелю в Німеччині

Глобальний збій Microsoft 365 призвів не лише до проблем із доступом до Outlook та інших сервісів. У Німеччині через недоступність електронної пошти персонал готелю вчасно не отримав попередження про надмірну концентрацію хлору в басейні. Унаслідок інциденту постраждали 15 людей.

Інцидент стався в готелі поблизу парку розваг Phantasialand у Німеччині. За інформацією німецького мовника WDR, система моніторингу хлору в басейні дала збій, через що у воді опинилася надмірна кількість цієї речовини.

Як збій Microsoft 365 призвів до отруєння хлором

Система мала автоматично надсилати сповіщення про небезпечні показники працівникам парку електронною поштою. Однак у цей час Microsoft 365 переживав масштабний збій, тому повідомлення не дійшли до персоналу.

Проблему виявили лише після того, як відвідувачі почали скаржитися на погане самопочуття. За даними пожежної служби, до місця події направили близько 40 рятувальників. Медики оглянули 15 постраждалих, які зазнали подразнення дихальних шляхів. Чотирьох із них доправили до лікарні.

Цей випадок показав, що перебої в роботі цифрових сервісів можуть мати наслідки далеко за межами офісної роботи. Якщо електронна пошта використовується для передавання критично важливих попереджень, її недоступність може впливати на безпеку людей.

Що спричинило масштабний збій Microsoft 365

Після відновлення роботи сервісів Microsoft опублікувала звіт про інцидент у центрі адміністрування Microsoft 365. Компанія пояснила, що причиною стала комбінація кількох технічних проблем, а не кібератака.

У звіті виділили три основні чинники:

  • Прихована помилка в програмному забезпеченні. Дефект, який з'явився ще в липні, згодом призвів до перевантаження серверів Windows.

  • Проблеми з Microsoft Teams. Збій у роботі сервісу збільшив навантаження на інфраструктуру, спільну з Microsoft Exchange.

  • Недостатня серверна потужність. На момент інциденту 14% потужностей мережевої системи не працювали.

Окремо кожна з цих проблем не мала спричинити глобальний збій. Проте їхнє одночасне виникнення створило надмірне навантаження на інфраструктуру Microsoft. Запити до серверів почали накопичуватися, доки обладнання не перестало відповідати. Найбільше проблем виникло під час пікового періоду навантаження у США.

Чому відновлення сервісів затягнулося

Для стабілізації роботи Microsoft автоматично перенаправляла трафік на сервери, які ще функціонували. Однак це створило додаткове навантаження на справні вузли. У результаті вони також почали стикатися з початковою помилкою.

Microsoft описала цей процес як «каскадний збій», коли несправність поширюється від одного сервера до іншого через перерозподіл навантаження. У найгірший момент до 80% доступних серверів перестали відповідати. Додатковою проблемою стало те, що механізми захисту від подібних каскадних збоїв не спрацювали належним чином. Навіть після відновлення окремі сервери знову перевантажувалися через накопичені запити.

Звичайного повернення до попередньої версії програмного забезпечення було недостатньо, оскільки помилка існувала ще з липня. Для остаточного виправлення Microsoft повернула програмний код до попереднього стабільного стану, поступово вивела сервери з роботи, розгорнула виправлення та перезапустила інфраструктуру.

Зрештою компанії вдалося відновити роботу сервісів. Однак інцидент у Німеччині продемонстрував, наскільки важливо мати альтернативні канали оповіщення. Системи безпеки, від яких залежить здоров'я людей, не повинні покладатися виключно на доступність електронної пошти або одного хмарного сервісу.

Пов'язані теми: