
Из-за глобального сбоя в работе Microsoft 365 система безопасности бассейна не предупредила об утечке хлора / Unsplash / Ed Hardie
Глобальный сбой Microsoft 365 привел не только к проблемам с доступом к Outlook и другим сервисам. В Германии из-за недоступности электронной почты персонал отеля не получил вовремя предупреждение о чрезмерной концентрации хлора в бассейне. В результате инцидента пострадали 15 человек.
Инцидент произошел в отеле рядом с парком развлечений Phantasialand в Германии. По информации немецкого телеканала WDR, система мониторинга хлора в бассейне дала сбой, в результате чего в воде оказалось чрезмерное количество этого вещества.
Как сбой Microsoft 365 привел к отравлению хлором
Система должна была автоматически отправлять уведомления об опасных показателях сотрудникам парка по электронной почте. Однако в это время Microsoft 365 переживал масштабный сбой, поэтому сообщения не дошли до персонала.
Проблему обнаружили только после того, как посетители начали жаловаться на плохое самочувствие. По данным пожарной службы, к месту происшествия направили около 40 спасателей. Медики осмотрели 15 пострадавших, у которых наблюдалось раздражение дыхательных путей. Четверо из них были доставлены в больницу.
Этот случай показал, что перебои в работе цифровых сервисов могут иметь последствия далеко за пределами офисной работы. Если электронная почта используется для передачи критически важных предупреждений, ее недоступность может повлиять на безопасность людей.
Что вызвало масштабный сбой Microsoft 365
После возобновления работы сервисов Microsoft опубликовала отчет об инциденте в центре администрирования Microsoft 365. Компания пояснила, что причиной стала совокупность нескольких технических проблем, а не кибератака.
Средние цены в сети АЗС «Amic Energy» по состоянию на
В отчете выделили три основных фактора:
-
Скрытая ошибка в программном обеспечении. Дефект, появившийся еще в июле, впоследствии привел к перегрузке серверов Windows.
-
Проблемы с Microsoft Teams. Сбой в работе сервиса увеличил нагрузку на инфраструктуру, совместную с Microsoft Exchange.
-
Недостаточная серверная мощность. На момент инцидента 14% мощностей сетевой системы не работали.
По отдельности каждая из этих проблем не должна была вызвать глобальный сбой. Однако их одновременное возникновение создало чрезмерную нагрузку на инфраструктуру Microsoft. Запросы к серверам начали накапливаться, пока оборудование не перестало отвечать. Больше всего проблем возникло во время пикового периода нагрузки в США.
Почему восстановление сервисов затянулось
Для стабилизации работы Microsoft автоматически перенаправляла трафик на серверы, которые еще функционировали. Однако это создало дополнительную нагрузку на исправные узлы. В результате они также начали сталкиваться с исходной ошибкой.
Microsoft описала этот процесс как "каскадный сбой", когда неисправность распространяется от одного сервера к другому из-за перераспределения нагрузки. В самый критический момент до 80 % доступных серверов перестали отвечать. Дополнительной проблемой стало то, что механизмы защиты от подобных каскадных сбоев не сработали должным образом. Даже после восстановления отдельные серверы снова перегружались из-за накопившихся запросов.
Обычного возврата к предыдущей версии программного обеспечения было недостаточно, поскольку ошибка существовала еще с июля. Для окончательного исправления Microsoft вернула программный код к предыдущему стабильному состоянию, постепенно вывела серверы из эксплуатации, развернула исправления и перезапустила инфраструктуру.
В итоге компании удалось восстановить работу сервисов. Однако инцидент в Германии продемонстрировал, насколько важно иметь альтернативные каналы оповещения. Системы безопасности, от которых зависит здоровье людей, не должны полагаться исключительно на доступность электронной почты или одного облачного сервиса.
Если Вы обнаружили ошибку на этой странице, выделите ее и нажмите Ctrl + Enter

Комментарии