
Microsoft пояснила, що сталося з її сервісами 12 листопада / Microsoft
12 листопада мільйони людей по всьому світу близько 14 годин не могли відкрити Outlook, OneDrive та інші сервіси Microsoft 365. Тепер компанія пояснила причини: проблема назрівала з липня, а спрацювала через збіг трьох обставин.
Що саме зламалося у Microsoft 365?
Невдовзі після короткого збою в Teams у сервісах Microsoft 365 почалися масштабні проблеми. Перші спроби відновити роботу провалилися, тому мільйони користувачів не мали доступу до пошти та пов'язаних сервісів понад 12 годин, нагадує 24 Канал.
Постраждали Outlook, Exchange Online, Teams, SharePoint та інші продукти. Тепер Microsoft оприлюднила попередній звіт про інцидент. Зокрема, окрема публікація з'явилася на сторінці Чарльза Ламанни, виконавчого віцепрезидента Microsoft з напрямків Copilot, Agents та Platform, який займається розробкою інструментів нового покоління на базі штучного інтелекту для підприємств.
Головною причиною стала програмна помилка, яку випадково додали ще в липні. Разом із двома іншими інфраструктурними проблемами вона спричинила каскадний збій, і в якийсь момент 80% шлюзових серверів мережі перестали відповідати.
Звідки взявся липневий баг?
Помилку містило виправлення, яке підготували спеціально для серверів мережевого шлюзу Microsoft 365. Через конкуренцію за ресурси всередині внутрішнього процесу (так звану lock contention) сервер переставав відповідати під певним навантаженням. Ширших розгортань Windows ні помилка, ні виправлення не стосуються.
Оновлення пройшло безпечне розгортання і кілька тижнів поширювалося по всьому світу. Понад три місяці проблем не помічали. Стандартне навантажувальне тестування теж нічого не виявило, бо тестові лабораторії використовують інший склад трафіку та обладнання. Там переважали слабші сервери з меншою кількістю ядер процесора, а баг частіше проявляється саме на новіших машинах із більшою кількістю ядер.
Середні ціни в мережі АЗС «Amic Energy» станом на
Як збіглися три фактори
Приблизно за 15 годин до збою трафік Teams перемкнувся з альтернативного мережевого шлюзу на основний, який обслуговує й Exchange Online. Це штатна ситуація, закладена в архітектуру стійкості Microsoft, але вона збільшила навантаження та змінила структуру трафіку.
Водночас приблизно 14% потужностей шлюзу не працювали через непов'язану проблему попереднього дня. Решти 86% вистачало для звичайної роботи, тож сама по собі ця втрата нічого не ламала. Проте разом зі збільшеним навантаженням вона "розбудила" прихований баг. Це сталося в піковий для США час.
Чому збій став глобальним?
Коли сервери перестають відповідати, системи керування трафіком автоматично перенаправляють користувачів на справні вузли. Зазвичай це рятує сервіс, але цього разу те саме навантаження лягло на меншу кількість серверів, і на них спрацював той самий баг. Менш ніж за дві години збій охопив більшість парку, а в найгірший момент не відповідали понад 80% серверів.
Зазвичай шлюз складається з тисяч "одиниць потужності", які об'єднують у регіони. Це має зупиняти поширення збоїв. Проте через іще одну проблему ці перегородки не спрацювали, тому збій розійшовся по всій інфраструктурі.
Чому відновлення тривало так довго?
Teams, OneDrive, SharePoint та застосунки Office змогли перемкнутися з несправного шлюзу, тому їх відновили раніше. Чати й зустрічі в Teams здебільшого працювали без проблем. Exchange Online так перемкнутися не може.
Серверам, які повертали в роботу, одразу дісталася накопичена черга запитів, і вони знову виходили з ладу. Автоматичні процеси відновлення не розраховані на такий масштаб. Відкотити оновлення швидко теж не вдалося, адже воно діяло з липня. Тому інженери розробили виправлення, що повертає код до попереднього робочого стану. Вони виводили з роботи групи серверів, застосовували зміну, перезапускали їх і поступово повертали в експлуатацію, іноді одразу понад 50% регіону.
Що далі?
Microsoft визнала, що збій вплинув на звичайну роботу її клієнтів. Остаточний звіт про інцидент компанія обіцяє опублікувати цього тижня. Він міститиме більше технічних подробиць і кроки, які Microsoft робить, щоб запобігти схожим збоям.
Повʼязані теми:
Якщо Ви виявили помилку на цій сторінці, виділіть її та натисніть Ctrl+Enter

Коментарі