ЦОД для компаний группы "Открытие холдинг". История реализации проекта

Сегодня данные приобретают всё большее значение, но мало их получить, их нужно обработать и хранить. Перед крупными организациями, особенно финансового сектора, этот вопрос встает достаточно остро. Как быть, воспользоваться услугами чужого центра обработки данных (ЦОД) или создать свой? Банк "ФК Открытие" решил построить собственный дата-центр.

Наш банк был сформирован финансовой группой "Открытие холдинг". Поэтапная интеграция более 10 банков на базе Номосбанка проводилась в 2000–2010 гг., в результате банк "ФК Открытие" стал одним из крупнейших и в 2017 г. перешел под контроль Центрального банка Российской Федерации. В 2018 г. новая команда столкнулась с глобальной проблемой – структурой, полученной в наследство от бывших собственников. Это порядка 28 площадок, разбросанных по всей России, разные платформы, разное оборудование, огромный штат персонала. В банке требуются как минимум две площадки – основная и резервная. Была принята стратегия создания собственного ЦОД для компаний группы "Открытие холдинг" (далее по тексту – компаний группы) и второй площадки – резервного центра обработки данных, который уже функционирует на базе коммерческого ЦОД.

Проблемы структуры дата-центров

Существовавшая ранее структура имела серьезные проблемы:

• отсутствие возможностей дальнейшего развития и расширения;
• объекты фактически являлись серверными комнатами с отсутствием резервирования инженерных систем;
• сложность эксплуатации большого количества площадок;
• большое количество арендодателей и поставщиков услуг поддержки ЦОД и серверных комнат;
• отсутствие унификации ИТ- и инженерного оборудования;
• большой штат работников для сопровождения.

Разношерстность оборудования приводила к тому, что обслуживание сводилось к аварийным ремонтам, планово-предупредительных работ не проводилось.

Возведение конструкции для установки чиллеров

Стратегия развития: основные задачи и ожидаемые результаты

Проанализировав текущую ситуацию, руководство банка и проектная команда приняли стратегическое решение об изменении структуры ИТ-ландшафта нового банка с целью оптимизировать площадки и, соответственно, затраты на их содержание и обслуживание. На этапе паспорта проекта мы уже получили экономию в 62% площадей, а из 38 договоров аренды и субаренды мы вышли на два договора – собственный ЦОД и арендный.

Была принята долгосрочная стратегия развития ИТ-инфраструктуры группы компаний в целом. Главной задачей являлась организация двух крупных ЦОД (основного и резервного) с хорошей доступностью на удалении не более 20 км друг от друга и централизация в них всех вычислительных мощностей. Это позволило обеспечить:

• сохранность данных;
• максимально оперативное восстановление полноценной работы группы компаний в случае сбоев или катастроф;
• оптимизацию затрат на содержание и эксплуатацию.

Цели проекта

Проектная команда разработала и утвердила цели проекта и критерии-результаты, показывающие, что цели достигнуты. Цели проекта:

• централизация всех ЦОД и серверных комнат для компании группы на базе двух современных и высокодоступных ЦОД;
• унификация инфраструктурных компонент ИТ-ландшафта;
• консолидация оборудования;
• повышение доступности ИТ-инфраструктуры;
• обеспечение готовности ИТ-инфраструктуры к росту бизнеса;
• оптимизация затрат объединенной банковской группы.

Результаты

Можно сказать, что цели проекта достигнуты. Мы получили следующие результаты:

• выполнена централизация всех ЦОД и серверных комнат компаний группы;
• оптимизированы затраты на аренду и обслуживание ЦОД, инженерных систем и серверных комнат, обеспечена возможность развития ИТ-систем;
• снижено время простоя ИТ-систем, обеспечена возможность проведения работ на инженерных сетях без влияния на бизнес-процессы;
• создана единая служба эксплуатации ЦОД;
• организована единая и централизованная служба мониторинга ЦОД;
• доступ к серверному оборудованию контролируется службами банка.

Централизация серверных на единой площадке позволяет сократить общую площадь помещений, занимаемых ИТ-инфраструктурой, с учетом создания основного ЦОД на территории комплекса (2403/860 кв. м) и аренды машзалов резервного коммерческого ЦОД на отдельной площадке (900 кв. м).

Мы перешли на единые стандарты ИТ- и инженерного оборудования, уйдя от большого количества вендоров, огромного количества договоров на сопровождение ИТ- и инженерной инфраструктуры всего центра обработки данных, что дало оптимизацию затрат. На данный момент действует единая служба эксплуатации ЦОД, в которую входят пять человек, все остальное переведено на аутсорсинг. Весь периметр полностью контролируется службами безопасности банка.

Строительство хладоцентра

Некоторые элементы проекта

• Сроки реализации проекта: июнь 2019 г. – февраль 2021 г.
• Масштаб: более 4 тыс. кв. м.
• Энергопотребление: 4 мвт, три 2-трансформаторные подстанции.
• Телекоммуникационные шкафы в ЦОД – 450 шт.
• Кроссовые – 20 шт.
• Применены элементы BIM-проектирования.
• Схема резервирования системы электроснабжения 3/2N.
• Схема резервирования системы холодоснабжения N+1.
• Схема резервирования каналов связи 2N.
• Рабочий диапазон температур -40...+40 °С.
• Время автономной работы от ДГУ 6 часов (сейчас руководство поставило задачу сертифицироваться по Uptime, по дизайну и Facility).
• Плотность портов СКС на стойку 240 ОВ.
• Общая емкость главного кросса СКС 78720 ОВ.

Первые этапы реализации проекта

С компанией, выигравшей конкурс на создание центра обработки данных, мы плодотворно потрудились, ее специалисты оказали нам помощь и в разработке технического задания (прорабатывали всё по максимуму, начиная от размещения оборудования).

Проведение процедуры RFI (Request for Information) позволило определить вендоров с лучшими ценовыми параметрами как поставки оборудования, так и стоимости совокупного владения TCO (Total Cost of Ownership). Эта процедура дала также возможность получить оптимальную стоимость поставляемого оборудования и зафиксировать ее в рублях. Все проектные решения, все разделы проекта были тщательно проработаны на предмет соответствия требованиям ТЗ, законодательству и нормативной документации РФ.

Подготовка здания для ЦОД

При подборе площадки стояла задача выбрать ее из непрофильных активов компаний "Открытие холдинг".

Мы остановились на 5-этажном здании, находящемся в периметре группы компаний, в нем планировалось расположить не только ЦОД, но и архив. На первом этаже, где высота потолков 5,5 м, разместили инженерную инфраструктуру, на втором этаже (потолки 3,5 м) – также ЦОД, на третьем этаже (потолки 5 м) – вся ИТ-инфраструктура.

После того как снесли все существующие перегородки, выяснилось, что здание является котом в мешке. Нам пришлось капитально усилить его, особенно фундамент, потому что те нагрузки, которые мы заявили для ИТ-инфраструктуры (порядка 1500 кг/кв. м), никак не проходили. Изначально проектом было предусмотрено свайное поле, но когда вскрыли грунт, то обнаружили самый разнообразный строительный мусор, поэтому приходилось делать изменения в проекте, уходить от свайных полей на полностью монолитные участки под рамы чиллера.

Структура и некоторые параметры центра обработки данных

Первый этаж, входная группа – общие для архива и ЦОД. Слева вверху энергоцентр. Мы сделали три вида маркировки – голубую, желтую и черную, чтобы визуально прослеживать эксплуатацию всей техники, от подстанции до последнего силового щита. Цветовая маркировка очень облегчает систему эксплуатации.

Мы использовали систему чиллер-фанкойл (универсальная система кондиционирования помещений), стоящую на внешнем гликолевом контуре. Может возникнуть вопрос: почему именно гликоль? Дело в том, что мы были вынуждены поставить внешние блоки далеко от машзалов, так как вдоль здания проходит водяной городской трубопровод 1500 мм, а также транзитные магистрали, поэтому пришлось выносить эти блоки достаточно далеко, на 25–30 м.

В помещении ХЦ-1 происходит переход в теплообменниках с гликоля на воду, второй ХЦ – чисто водяной контур; мы применили систему гарантированного холодоснабжения, и в случае полного отключения электроснабжения при полной нагрузке ЦОД (более 2 мВт) мы "проживем на охлажденной воде", которая есть, 18 мин. Третий – на 90% ИТ-этаж, это активный кросс, пассивный кросс, три машинных зала. Для инженерных служб везде выделены специальные помещения: отдельно сделаны главные распределительные щиты каждого машинного зала, отдельно помещения кондиционирования – сервисным и инженерным службам нет необходимости посещать машзалы.

Предусмотрели достаточно большие складские площади, что позволяет нормально складировать запасные части и принадлежности, шкафы, инструменты системы тестирования, наладки оборудования.

Площадку для чиллера сделали двухуровневую, в том числе и для того, чтобы была возможность обслуживать вентиляторы сверху: не нужны монтажные пояса, есть доступ со второго этажа для обслуживания ЦОД. При возведении основных инженерных систем использовались передовые технологии.

При подготовке машзала возникла существенная проблема – шаг колонн и периметральное остекление всего здания. Фактически нам пришлось построить здание внутри здания – утеплить стены, сделать гидроизоляцию. Вся инженерная и ИТ-структура строилась в парадигме Tier III, за исключением топливохранилища.

В середине марта мы провели пусконаладочные испытания, коллеги из ИТ-блока начали нагружать ЦОД. Основная потребность – 300 стоек, 49 коммуникационных стоек и один зал под развитие компании группы. На стадии Facility сертификацию не проводили, но сейчас поставлена такая задача, потому что мы выходим на IPO и, по мнению руководства, это существенно повысит активы.

Организация обслуживания ЦОД

Диспетчерский пункт расположен внутри здания. Политика банка ограничивает состав подразделения, обслуживающего бизнес, поэтому эксплуатация ЦОД полностью на аутсорсинге. Диспетчерская служба круглосуточная, в смене днем три техника, два инженера, ночная смена – один инженер, один диспетчер и два техника. Их задача – обходы, визуальный контроль, в случае обнаружения аварии – ее локализация и вызов специалистов по направлениям.

Перспективные задачи

Мы не планируем предоставлять сервисы нашего ЦОД сторонним фирмам, он строился для банка и компаний группы "Открытие холдинг". Принято решение, что с начала IV квартала мы полноценно запускаем работы по второму машзалу, все строительные работы окончены, кабельные линии полностью проложены, остаются СКС, холодные коридоры и подключение к всей системе. Поэтому с IV квартала у нас начинается миграция в эту выстроенную структуру – коммерческий ЦОД и собственный. Вопрос выделения ЦОД в отдельную организационную структуру пока не стоит и не будет подниматься: это актив банка, капитализация банка, статус банка – иметь ЦОД 4 МВт. Подобные собственные центры обработки данных в России имеют всего несколько банков.

Иллюстрации предоставлены автором.

Опубликовано в журнале "Системы безопасности" №5/2021