Как устроен центр обработки данных: экскурсия дата-центром Dattum

Прежде всего стоит разобраться, что же такое центр обработки данных. ЦОД, или дата-центры отвечают за бесперебойную работу всего установленного внутри оборудования и соответствующей инфраструктуры. Простыми словами ЦОД – это не столько центр обработки данных, сколько место для размещения оборудования.

Не пропустите Украина впервые получила собственный павильон на крупнейшей ИТ-конференции мира Web Summit

ЦОД может быть большим, занимая одно или несколько зданий, а может быть совсем небольшим, размещаясь в отдельном помещении. Также в одном здании могут быть расположены одновременно несколько дата-центров с объединенной инфраструктурой.

К тому же ЦОД должен выполнять следующие функции:

• Обеспечение оборудования электроэнергией;
• Отвод лишнего тепла, которое негативно влияет на работоспособность систем и устройств;
• Защита оборудования от негативного воздействия окружающей среды;
• Предоставление доступа к оборудованию сотрудникам дата-центра и ограничение доступа к этому же оборудованию посторонних лиц;
• Защита вычислительного и сопутствующего оборудования от инцидентов, например, пожаров.

Как функционирует дата-центр и какой должна быть его инфраструктура

Редакция 24 Техно побывала в современном дата-центре Dattum латвийской телекоммуникационной компании Tet, интернет-провайдера и оператора кабельного телевидения. Именно на примере инновационного дата-центра этой компании мы объясним, как обустроен ЦОД и как он функционирует.

Дата-центр Dattum в Риге Латвия / Фото Tet

Помещение ЦОД чаще всего размещают возле точки обмена трафиком, поскольку доступ к вычислительному оборудованию дата-центра чаще всего осуществляется через интернет. Оснащают его современными эффективными инженерными системами – это залог стабильного функционирования.

В то же время ЦОД должен быть обеспечен современными системами резервирования энергии, пожаротушения и рядом других важных узлов, уровень которых подтверждается соответствующим сертификатом, а качество и объем предоставляемых услуг могут быть очень разными.

Какие существуют уровни надежности ЦОД

Чем важнее задачи, которые выполняются центром обработки данных, тем надежнее он должен быть. Несколько минут простоя ЦОД может стоить бизнесу нескольких миллионов долларов. Для оценки уровня надежности ЦОД компания Uptime Institute разработала специальную систему сертификации – Tier.

Эти уровни сертификации существуют следующие:

• Tier I – это базовый ЦОД, в котором используется система резервирования N+0. В таких объектах в большинстве случаев нет дублирующих систем. Максимальный уровень доступности ЦОД (отказоустойчивость) составляет 99,671%.
• Tier II – это уже более надежный объект, в котором применяется схема бронирования N+1. Системы зарезервированы, но в случае необходимости ремонта ЦОД приходится останавливать. В дата-центрах уровня Tier 2 обязательно должен присутствовать двойной пол. Отказоустойчивость такого ЦОД – 99,75%.
• Tier III – это уровень надежности, при котором в случае поломки любой из систем ЦОД продолжает функционировать, а ремонт можно выполнять без остановки всего объекта. Отказоустойчивость ЦОД – 99,98%.
• Tier IV – самый высокий на сегодня уровень сертификации. В любой инженерной системе в таком объекте есть резерв как основного, так и дополнительного узла (схема бронирования 2N+1). Отказоустойчивость – 99,99%, время простоя сведено к минимуму, а опасность остановки такого ЦОД практически исключена.

ЦОД Tet Dattum спроектированных в соответствии с требованиями безопасности Tier III. Дата-центр расположен на узле инфраструктуры основной сети Tet, что позволяет обеспечить прямые зарезервированные соединения с крупнейшими пунктами обмена интернетом в Европе.

ЦОД предназначен для размещения критических ІТ-систем клиентов и специализируется на работе с предприятиями, бизнес которых связан с обработкой и хранением финансовых транзакций в соответствии с требованиями PCI-DSS Level1. Отказоустойчивость ЦОД: 99,982%.

Важно отметить, что существует два вида сертификации Tier: для проекта ЦОД (Design) и для конечного объекта (Facility).

Сертификат Tier III Design для своего проекта – Центра Обработки Данных (ЦОД) Dattum от Uptime Institute Tet получил 12 декабря 2012 года.

Сертификат же Tier III Facility ЦОД Dattum получил 5 февраля 2013 года. Этот сертификат гарантирует, что все системы и элементы ЦОД резервированные, а плановые работы по обслуживанию ЦОД протекают без остановки и простоя систем.

Схема дата-центра Tet Dattum / Фото Tet

Актуально Количество кибератак стремительно растет и Украина – не исключение: данные компании Tet

Электроснабжение

Главный источник жизни ЦОД – электричество. От того, насколько правильно и бесперебойно осуществляется электропитание дата-центра, зависит стабильность работы размещенного в нем оборудования. Поэтому ЦОД подключают к электросети по нескольким независимым каналам, устанавливают системы бесперебойного питания, а также подключают дополнительный дизельный генератор (или несколько) в случае полного отключения электричества.

Аккумуляторы в Dattum обеспечивают бесперебойную работу / Фото Tet

Аккумуляторы и системы бесперебойного питания позволяют избежать резких перепадов и отключений энергии и служат одним из дублирующих источников питания на случай отключения электричества. Их цель, обеспечить работу ЦОД к запуску дизельных генераторов.

Ресурс батарей в дата-центре Dattum (300 аккумуляторов) позволяет поддерживать работу ЦОД в течение 30 минут – этого достаточно, чтобы заработали три дублирующие дизельные генераторы.

Генераторы (3х0,88 МВт), работающие на дизельном топливе, оснащены в специальном помещении, которое имеет автоматизированную систему люков, которые служат противопожарной системой по принципу вакуума. В то же время в пол вмонтирована специальная струна, которая реагирует в случае протекания горючего. В таком случае на системах администрирования указывается сектор и конкретное место протекания, что позволяет быстро среагировать на инцидент.

Все системы проверяются и регулярно тестируются в тестовом режиме, чтобы в любой момент все было в рабочем состоянии для обеспечения бесперебойной работы ЦОД. Обе генераторные системы запускаются и синхронизируются в течение 30 секунд.

Цистерны с дизтопливом для генераторов / Фото Tet

Цистерны с дизтопливом расположены в другом помещении рядом с тем, где установлены генераторы. Углубления в полу вокруг цистерн содержат струну, которая реагирует на протекание топлива. Периодическое тестирование дизельных генераторов кроме проверки работы проводится также для того, чтобы прокачивать топливо в цистернах, ведь при постоянном длительном хранении оно густеет и покрывается парафином.

В цистернах хранится 14 тонн дизтоплива, этого достаточно, чтобы обеспечить бесперебойную работу ЦОД при максимальной нагрузке в течение 28 часов. Стоит отметить, что насосные системы здесь также дублируются.

Полезно Письмо с сюрпризом: все, что должен знать бизнес о фишинге

Кондиционирование

Поскольку перегрев оборудования недопустим, а любая вычислительная система потребляет много энергии и выделяет большое количество тепла, помещение машинного зала должно очень хорошо охлаждаться. Для охлаждения ЦОД используют профессиональные прецизионные кондиционеры, а также различные современные системы, такие как фрикулинг.

Серверное помещение дата-центра Dattum размещается по принципу "комната в комнате", а двойной пол расположен на высоте 90 сантиметров. Все герметично и надежно.

Серверное помещение извне и внутри / Фото Tet

Кстати, внутри дата-центра, именно там, где расположены серверные стойки, все должно быть максимально чисто, поэтому система кондиционирования и очистки воздуха заботится и о чистоте, а на входе в объект, в случае с Dattum, есть автомат для надевания бахил и специальная клейкая лента на полу, которая задерживает пыль.

Безопасность

Оборудование дата-центра должно быть защищено от посторонних лиц. Не менее важная задача – обеспечение конфиденциальности данных, которые хранятся в центре обработки данных. В большинстве случаев системы безопасности ЦОД включают систему контроля доступа, видеонаблюдения, пожарной сигнализации, противопожарной системы и другие системы. Доступ к оборудованию жестко регулируется, всегда есть охрана, а доступ к дата-центру обеспечивает система двойной аутентификации.

Одним из важнейших аспектов безопасности дата-центра является противопожарная безопасность объекта. ЦОД должен быть максимально защищен в случае пожара. Дата-центр Dattum использует автоматическую систему пожаротушения – ряд датчиков трех видов (общее количество 2000 штук во всем объекте) в любой момент готовы среагировать на опасность. Кроме того, все системы дублируются, чтобы исключить ложные срабатывания.

Система пожаротушения в дата-центре Dattum / Фото Tet

Для тушения пожара используется безопасный для здоровья человека инертный газ IG-55, который в специальных баллонах постоянно подключен к системе. В помещении также сохраняется дополнительное количество баллонов для перезаправки. Система регулярно тестируется – специалисты проверяют датчики и работу механизмов чтобы убедиться в том, что в нужный момент объект будет максимально защищен.

Передача данных

Стабильный и бесперебойный процесс передачи данных важен для любого дата-центра. Для его обеспечения используют как выделенные каналы, так и общедоступные интернет-сети с широкой полосой пропускания. Каналы обязательно резервируются.

Диспетчеризация

Обеспечение стабильной работы всего ЦОД невозможно без системы мониторинга и диспетчеризации. За всеми системами ведется круглосуточное наблюдение, а устранение выявленных проблем происходит по заранее разработанным алгоритмам. Это исключает ошибки и позволяет решать проблемы максимально быстро.

Резервирование инженерных систем ЦОД

Для того, чтобы дата-центр работал без перебоев, критически важные системы могут многократно дублироваться благодаря различным схемам резервирования. Их обозначают латинской буквой N. Главные схемы резервирования перечислены ниже.

• N+0 – это базовый уровень, системы без резервирования. Если что-то ломается или отключается энергия, то останавливается работа всего дата-центра. В ЦОД, где требуется бесперебойная работа оборудования, необходимо многократное резервирование, так что схема N + 0 здесь не подходит.
• N+1 – здесь система резервируется однократно. Резервный элемент привлекается после того, как выходит из строя основной, так что весь комплекс продолжает работу.
• 2N – когда в каждой основной системе или элементе есть два резервы, которые работают параллельно, так что нагрузка равномерно распределяется между всеми компонентами. Если какой-то элемент выйдет из строя, его автоматически заменяет другой.
• 2N+1 – такая же схема, как и выше, но используется еще один дополнительный компонент.
• 2N+2 – здесь дублируются также дополнительные элементы. Одна из самых надежных схем на сегодня, которая работает безотказно.
• 3/2N – выгодная схема резервирования, поскольку ЦОД нагружается на 2/3, а не на 1/2, что достаточно эффективно. Производительность системы увеличивается, а ее амортизация уменьшается.

Интересно За большинством кибератак в мире стоят российские хакеры, – отчет Microsoft

Какие услуги предоставляют дата-центры

Главная задача ЦОД – обеспечение бесперебойной работы оборудования. А вот возможность размещения такого оборудования клиентами компании, владеющей дата-центром, – это уже услуга.

Главные услуги дата-центров в целом одинаковы. Например дата-центр Tet Dattum предлагает следующий спектр услуг:

• Размещение оборудования – обеспечивает опции размещения собственного серверного оборудования внутри специально выделенных стоек в ЦОД.
• Аренда оборудования – дает возможность разместить ваши собственные серверы, выгодно арендовав для них целую стойку. Такая услуга подойдет для компаний, политика безопасности которых не позволяет размещать оборудование в общей стойке.
• VPS (virtual private server) – подходит при объективной необходимости предоставления в аренду для вашего проекта виртуального выделенного сервера;
• Сетевые решения;
• Решения по безопасности;
• Администрирование систем.

Стоит добавить, что емкость Dattum составляет 100 стоек, а его электрическая мощность – 1,4 MW.

Зачем вообще нужен Дата-центр

Казалось бы, ничего сложного здесь нет, понятно, что сервера и оборудование для работы необходимо где-то размещать, но зачем строить для этого целые здания, если можно обойтись серверным помещениям? Прежде всего, для экономической выгоды – объединение вычислительных ресурсов и средств хранения данных в ЦОД позволяет уменьшить общую стоимость эксплуатации IT-ресурсов.