Як влаштований центр обробки даних: екскурсія дата-центром Dattum

Перш за все варто розібратися, що ж таке центр обробки даних. ЦОД, або дата-центри відповідають за безперебійну роботу всього встановленого всередині обладнання та відповідної інфраструктури. Простими словами ЦОД – це не стільки центр обробки даних, скільки місце для розміщення обладнання.

Не пропустіть України вперше отримала власний павільйон на найбільшій ІТ-конференції світу Web Summit

ЦОД може бути великим, займаючи одну або декілька будівель, а може бути зовсім невеликим, розміщуючись в окремому приміщенні. Також в одній будівлі можуть бути розташовані водночас декілька дата-центрів з об'єднаною інфраструктурою. 

До того ж ЦОД повинен виконувати такі функції:

• Забезпечення обладнання електроенергією;
• Відведення зайвого тепла, яке негативно впливає на працездатність систем та пристроїв;
• Захист обладнання від негативного впливу навколишнього середовища;
• Надання доступу до обладнання співробітникам дата-центру і обмеження доступу до цього ж обладнання сторонніх осіб;
• Захист обчислювального і супутнього устаткування від інцидентів, наприклад, пожеж.

Як функціонує дата-центр і якою повинна бути його інфраструктура

Редакція 24 Техно побувала в сучасному дата-центрі Dattum латвійської телекомунікаційної компанії Tet, інтернет-провайдера та оператора кабельного телебачення. Саме на прикладі інноваційного дата-центру цієї компанії ми пояснимо, як облаштований ЦОД та як він функціонує.

Дата-центр Dattum у Ризі Латвія / Фото Tet

Приміщення ЦОД найчастіше розміщують біля точки обміну трафіком, оскільки доступ до обчислювального устаткування дата-центру найчастіше здійснюється через інтернет. Оснащують його сучасними ефективними інженерними системами – це запорука стабільного функціонування.

Водночас ЦОД повинен бути забезпечений сучасними системами резервування енергії, пожежогасіння та низкою інших важливих вузлів, рівень яких підтверджується відповідним сертифікатом, а якість і обсяг послуг, що надаються можуть бути дуже різними.

Які існують рівні надійності ЦОД

Чим важливішими є завдання, які виконуються центром обробки даних, тим надійнішим він повинен бути. Кілька хвилин простою ЦОД може коштувати бізнесу кількох мільйонів доларів. Для оцінки рівня надійності ЦОД компанія Uptime Institute розробила спеціальну систему сертифікації – Tier.

Ці рівні сертифікації існують наступні:

• Tier I – це базовий ЦОД, в якому використовується система резервування N+0. У таких об'єктів у більшості випадків немає дублюючих систем. Максимальний рівень доступності ЦОД (відмовостійкість) становить 99,671%.
• Tier II – це вже більш надійний об'єкт, в якому застосовується схема резервування N+1. Системи зарезервовані, але у разі необхідності ремонту ЦОД доводиться зупиняти. У дата-центрах рівня Tier 2 обов'язково повинна бути присутня подвійна підлога. Відмовостійкість такого ЦОД – 99,75%.
• Tier III – це рівень надійності, при якому у випадку поломки будь-якої з систем ЦОД продовжує функціонувати, а ремонт можна виконувати без зупинки всього об'єкта. Відмовостійкість ЦОД – 99,98%.
• Tier IV – найвищий на сьогодні рівень сертифікації. У будь-якої інженерної системи в такому об'єкті є резерв як основного, так і додаткового вузла (схема резервування 2N+1). Відмовостійкість – 99,99%, час простою зведено до мінімуму, а небезпека зупинки такого ЦОД практично виключена.

ЦОД Tet Dattum спроєктований відповідно до вимог безпеки Tier III. Дата-центр розташований на вузлі інфраструктури основної мережі Tet, що дозволяє забезпечити прямі зарезервовані з'єднання з найбільшими пунктами обміну інтернетом у Європі.

ЦОД призначений для розміщення критичних ІТ-систем клієнтів та спеціалізується на роботі з підприємствами, бізнес яких пов'язаний із обробкою та зберіганням фінансових транзакцій відповідно до вимог PCI-DSS Level1. Відмовостійкість ЦОД: 99,982%.

Важливо зазначити, що існує два види сертифікації Tier: для проєкту ЦОД (Design) та для кінцевого об'єкта (Facility).

Сертифікат Tier III Design для свого проєкту – Центру Обробки Даних (ЦОД) Dattum від Uptime Institute Tet отримав 12 грудня 2012 року.

Сертифікат же Tier III Facility ЦОД Dattum отримав 5 лютого 2013 року. Цей сертифікат гарантує, що всі системи і елементи ЦОД резервовані, а планові роботи з обслуговування ЦОД протікають без зупинки і простою систем.

Схема дата-центру Tet Dattum / Фото Tet

Актуально Кількість кібератак стрімко зростає і Україна — не виняток: дані компанії Tet

Електропостачання

Головне джерело життя ЦОД – електрика. Від того, наскільки правильно і безперебійно здійснюється електроживлення дата-центру, залежить стабільність роботи розміщеного в ньому обладнання. Тому ЦОД підключають до електромережі по декількох незалежних каналах, встановлюють системи безперебійного живлення, а також підключають додатковий дизельний генератор (або кілька) на випадок повного відключення електрики.

Акумулятори в Dattum забезпечують безперебійну роботу / Фото Tet

Акумулятори та системи безперебійного живлення дають змогу уникнути різких перепадів та вимкнень енергії та слугують одним з дублюючих джерел живлення на випадок відключення електрики. Їхня мета, забезпечити роботу ЦОД до запуску дизельних генераторів.

Ресурс батарей в дата-центрі Dattum (300 акумуляторів) дає змогу підтримувати роботу ЦОД протягом 30 хвилин – цього достатньо аби запрацювали три дублюючі дизельні генератори.

Дизельні генератори запускаються у випадку знеструмлення / Фото Tet

Генератори (3х0,88 МВт), які працюють на дизельному пальному облаштовані у спеціальному приміщенні, яке має автоматизовану систему люків, що слугують протипожежною системою за принципом вакууму. Водночас в підлогу вмонтована спеціальна струна, яка реагує у випадку протікання пального. В такому випадку на системах адміністрування вказується сектор та конкретне місце протікання, що дозволяє швидко зреагувати на інцидент.

Усі системи перевіряють та регулярно тестуються у тестовому режимі, аби у будь-який момент все було в робочому стані для забезпечення безперебійної роботи ЦОД. Обидві генераторні системи запускаються та синхронізуються протягом 30 секунд.

Цистерни з дизпаливом для генераторів / Фото Tet

Цистерни з дизпаливом розташовані у іншому приміщенні поряд з тим, де встановлено генератори. Заглибини в підлозі навколо цистерн містять струну, яка реагує на протікання пального. Періодичне тестування дизельних генераторів крім перевірки роботи проводиться також для того, щоб прокачувати пальне у цистернах, адже при постійному тривалому зберіганні воно густішає та покривається парафіном.

У цистернах зберігається 14 тонн дизпалива, цього достатньо аби забезпечити безперебійну роботу ЦОД при максимальному навантаженні протягом 28 годин. Варто зазначити, що насосні системи тут також дублюються.

Корисно Лист з сюрпризом: все, що повинен знати бізнес про фішинг

Кондиціонування

Оскільки перегрів обладнання неприпустимий, а будь-яка обчислювальна система споживає багато енергії і виділяє велику кількість тепла, приміщення машинного залу має дуже добре охолоджуватися. Для охолодження ЦОД використовують професійні прецизійні кондиціонери, а також різні сучасні системи, такі як фрікулінг.

Серверне приміщення дата-центру Dattum розміщується за принципом "кімната в кімнаті", а подвійна підлога розташована на висоті 90 сантиметрів. Усе герметично та надійно.

Серверне приміщення ззовні та всередині / Фото Tet

До речі, всередині дата-центру, саме там де розташовані серверні стійки, все повинно бути максимально чисто, тож система кондиціонування та очищення повітря дбає і про чистоту, а на вході в об'єкт, у випадку з Dattum, є автомат для одягання бахіл та спеціальна клейка стрічка на підлозі, яка затримує пил.

Безпека

Обладнання дата-центру має бути захищене від сторонніх осіб. Не менш важливе завдання – забезпечення конфіденційності даних, які зберігаються у центрі обробки даних. У більшості випадків системи безпеки ЦОД включають систему контролю доступу, відеоспостереження, пожежну сигналізацію, протипожежну систему та інші системи. Доступ до обладнання жорстко регулюється, завжди є охорона, а доступ до дата-центру забезпечує система подвійної аутентифікації. 

Одним із найважливіших аспектів безпеки дата-центру є протипожежна безпека об'єкта. ЦОД повинен бути максимально захищений у випадку пожежі. Дата-центр Dattum використовує автоматичну систему пожежогасіння – низка датчиків трьох видів (загальна кількість 2000 штук в усьому об'єкті) у будь-який момент готові зреагувати на небезпеку. Крім того, усі системи дублюються, аби виключити помилкові спрацьовування.

Система пожежогасіння у дата-центрі Dattum / Фото Tet

Для гасіння пожежі використовується безпечний для здоров'я людини інертний газ IG-55, який у спеціальних балонах постійно підключений до системи. У приміщенні також зберігається додаткова кількість балонів для перезаправки. Система регулярно тестується – фахівці перевіряють датчики та роботу механізмів аби впевнитися у тому, що у потрібний момент об'єкт буде максимально захищений.

Передача даних

Стабільний і безперебійний процес передачі даних важливий для будь-якого дата-центру. Для його забезпечення використовують як виділені канали, так і загальнодоступні інтернет-мережі з широкою смугою пропускання. Канали обов'язково резервуються.

Диспетчеризація

Забезпечення стабільної роботи всього ЦОД неможливо без системи моніторингу та диспетчеризації. За всіма системами ведеться цілодобове спостереження, а усунення виявлених проблем відбувається по заздалегідь розроблених алгоритмах. Це виключає помилки та дозволяє розв'язувати проблеми максимально швидко.

Резервування інженерних систем ЦОД

Для того, щоб дата-центр працював без перебоїв, критично важливі системи можуть багаторазово дублюватися завдяки різним схемам резервування. Їх позначають латинською літерою N. Головні схеми резервування перераховані нижче.

• N+0 – це базовий рівень, системи без резервування. Якщо щось ламається або відключається енергія, то зупиняється робота всього дата-центру. В ЦОД, де потрібна безперебійна робота обладнання, необхідно багаторазове резервування, так що схема N+0 тут не підходить.
• N+1 – тут система резервується одноразово. Резервний елемент залучається після того, як виходить з ладу основний, так що весь комплекс продовжує роботу.
• 2N – коли у кожної основної системи або елемента є два резерви, які працюють паралельно, так що навантаження рівномірно розподіляється між усіма компонентами. Якщо якийсь елемент вийде з ладу, його автоматично замінює другий.
• 2N+1 – така ж схема, як і вище – дублюються навіть додаткові елементи. Одна з найбільш надійних схем на сьогодні, яка працює безвідмовно.
• 3/2N – вигідна схема резервування, оскільки ЦОД навантажується на 2/3, а не на 1/2, що досить ефективно. Продуктивність системи збільшується, а її амортизація зменшується.

Цікаво За більшістю кібератак у світі стоять російські хакери, – звіт Microsoft

Які послуги надають дата-центри

Головне завдання ЦОД – забезпечення безперебійної роботи обладнання. А ось можливість розміщення такого обладнання клієнтами компанії, яка володіє дата-центром, – це вже послуга.

Головні послуги дата-центрів загалом однакові. Наприклад дата-центр Tet Dattum пропонує наступний спектр послуг:

• Розміщення обладнання – забезпечує опції розміщення власного серверного обладнання всередині спеціально виділених стійок в ЦОД.
• Оренда обладнання – дає можливість розмістити ваші власні сервери, вигідно орендувавши для них цілу стійку. Така послуга підійде для компаній, політика безпеки яких не дозволяє розміщувати обладнання в загальній стійці.
• VPS (virtual private server) – підходить при об'єктивній необхідності надання в оренду для вашого проєкту віртуального виділеного сервера;
• Мережеві рішення;
• Рішення з безпеки;
• Адміністрування систем.

Варто додати, що місткість Dattum становить 100 стійок, а його електрична потужність – 1,4 MW.

Навіщо взагалі потрібен Дата-центр

Здавалося б нічого складного тут немає, зрозуміло, що сервера та інше обладнання для роботи необхідно десь розміщувати, та навіщо будувати для цього цілі будівлі, якщо можна обійтися серверним приміщенням? Перш за все, для економічної вигоди – об'єднання обчислювальних ресурсів та засобів зберігання даних в ЦОД дає змогу зменшити загальну вартість експлуатації IT-ресурсів.