
Microsoft объяснила, что произошло с ее сервисами 12 ноября / Microsoft
12 ноября миллионы людей по всему миру около 14 часов не могли открыть Outlook, OneDrive и другие сервисы Microsoft 365. Теперь компания объяснила причины: проблема назревала с июля, а произошла из-за стечения трех обстоятельств.
Что именно вышло из строя в Microsoft 365?
Вскоре после кратковременного сбоя в Teams в сервисах Microsoft 365 начались масштабные проблемы. Первые попытки восстановить работу провалились, поэтому миллионы пользователей не имели доступа к почте и связанным сервисам более 12 часов, напоминает 24 Канал.
Пострадали Outlook, Exchange Online, Teams, SharePoint и другие продукты. Теперь Microsoft обнародовала предварительный отчет об инциденте. В частности, отдельная публикация появилась на странице Чарльза Ламанны, исполнительного вице-президента Microsoft по направлениям Copilot, Agents и Platform, который занимается разработкой инструментов нового поколения на базе искусственного интеллекта для предприятий.
Главной причиной стала программная ошибка, случайно добавленная еще в июле. Вместе с двумя другими инфраструктурными проблемами она вызвала каскадный сбой, и в какой-то момент 80% шлюзовых серверов сети перестали отвечать.
Откуда взялся июльский баг?
Ошибка содержалась в исправлении, подготовленном специально для серверов сетевого шлюза Microsoft 365. Из-за конкуренции за ресурсы внутри внутреннего процесса (так называемого lock contention) сервер переставал отвечать при определенной нагрузке. Ни ошибка, ни исправление не касаются более широких развертываний Windows.
Обновление прошло безопасное развертывание и в течение нескольких недель распространялось по всему миру. Более трех месяцев проблем не замечали. Стандартное нагрузочное тестирование тоже ничего не выявило, поскольку тестовые лаборатории используют другой состав трафика и оборудования. Там преобладали менее мощные серверы с меньшим количеством ядер процессора, а баг чаще проявляется именно на более новых машинах с большим количеством ядер.
Средние цены в сети АЗС «Amic Energy» по состоянию на
Как совпали три фактора
Примерно за 15 часов до сбоя трафик Teams переключился с альтернативного сетевого шлюза на основной, который обслуживает и Exchange Online. Это штатная ситуация, заложенная в архитектуру отказоустойчивости Microsoft, но она увеличила нагрузку и изменила структуру трафика.
В то же время примерно 14 % мощностей шлюза не работали из-за не связанной с этим проблемы, возникшей накануне. Остальных 86% хватало для обычной работы, поэтому сама по себе эта потеря ничего не нарушала. Однако в сочетании с возросшей нагрузкой она "разбудила" скрытый баг. Это произошло в пиковое для США время.
Почему сбой стал глобальным?
Когда серверы перестают отвечать, системы управления трафиком автоматически перенаправляют пользователей на исправные узлы. Обычно это спасает сервис, но на этот раз та же нагрузка легла на меньшее количество серверов, и на них сработал тот же баг. Менее чем за два часа сбой охватил большую часть парка, а в самый пик не отвечали более 80% серверов.
Обычно шлюз состоит из тысяч "единиц мощности", которые объединяются в регионы. Это должно предотвращать распространение сбоев. Однако из-за еще одной проблемы эти барьеры не сработали, поэтому сбой распространился по всей инфраструктуре.
Почему восстановление длилось так долго?
Teams, OneDrive, SharePoint и приложения Office смогли переключиться с неисправного шлюза, поэтому их восстановили раньше. Чаты и встречи в Teams в основном работали без проблем. Exchange Online так переключиться не может.
Серверы, которые возвращались в строй, сразу же получали накопившуюся очередь запросов и снова выходили из строя. Автоматические процессы восстановления не рассчитаны на такой масштаб. Откатить обновление быстро тоже не удалось, ведь оно действовало с июля. Поэтому инженеры разработали исправление, возвращающее код к предыдущему рабочему состоянию. Они выводили из строя группы серверов, применяли изменение, перезапускали их и постепенно возвращали в эксплуатацию, иногда сразу более 50 % региона.
Что дальше?
Microsoft признала, что сбой повлиял на обычную работу ее клиентов. Окончательный отчет об инциденте компания обещает опубликовать на этой неделе. Он будет содержать больше технических подробностей и мер, которые Microsoft принимает для предотвращения подобных сбоев.
Если Вы обнаружили ошибку на этой странице, выделите ее и нажмите Ctrl + Enter

Комментарии