Сегодня данные приобретают всё большее значение, но мало их получить, их нужно обработать и хранить. Перед крупными организациями, особенно финансового сектора, этот вопрос встает достаточно остро. Как быть, воспользоваться услугами чужого центра обработки данных (ЦОД) или создать свой? Банк "ФК Открытие" решил построить собственный дата-центр.
Наш банк был сформирован финансовой группой "Открытие холдинг". Поэтапная интеграция более 10 банков на базе Номосбанка проводилась в 2000–2010 гг., в результате банк "ФК Открытие" стал одним из крупнейших и в 2017 г. перешел под контроль Центрального банка Российской Федерации. В 2018 г. новая команда столкнулась с глобальной проблемой – структурой, полученной в наследство от бывших собственников. Это порядка 28 площадок, разбросанных по всей России, разные платформы, разное оборудование, огромный штат персонала. В банке требуются как минимум две площадки – основная и резервная. Была принята стратегия создания собственного ЦОД для компаний группы "Открытие холдинг" (далее по тексту – компаний группы) и второй площадки – резервного центра обработки данных, который уже функционирует на базе коммерческого ЦОД.
Существовавшая ранее структура имела серьезные проблемы:
Разношерстность оборудования приводила к тому, что обслуживание сводилось к аварийным ремонтам, планово-предупредительных работ не проводилось.
Проанализировав текущую ситуацию, руководство банка и проектная команда приняли стратегическое решение об изменении структуры ИТ-ландшафта нового банка с целью оптимизировать площадки и, соответственно, затраты на их содержание и обслуживание. На этапе паспорта проекта мы уже получили экономию в 62% площадей, а из 38 договоров аренды и субаренды мы вышли на два договора – собственный ЦОД и арендный.
Была принята долгосрочная стратегия развития ИТ-инфраструктуры группы компаний в целом. Главной задачей являлась организация двух крупных ЦОД (основного и резервного) с хорошей доступностью на удалении не более 20 км друг от друга и централизация в них всех вычислительных мощностей. Это позволило обеспечить:
Проектная команда разработала и утвердила цели проекта и критерии-результаты, показывающие, что цели достигнуты. Цели проекта:
Можно сказать, что цели проекта достигнуты. Мы получили следующие результаты:
Централизация серверных на единой площадке позволяет сократить общую площадь помещений, занимаемых ИТ-инфраструктурой, с учетом создания основного ЦОД на территории комплекса (2403/860 кв. м) и аренды машзалов резервного коммерческого ЦОД на отдельной площадке (900 кв. м).
Мы перешли на единые стандарты ИТ- и инженерного оборудования, уйдя от большого количества вендоров, огромного количества договоров на сопровождение ИТ- и инженерной инфраструктуры всего центра обработки данных, что дало оптимизацию затрат. На данный момент действует единая служба эксплуатации ЦОД, в которую входят пять человек, все остальное переведено на аутсорсинг. Весь периметр полностью контролируется службами безопасности банка.
С компанией, выигравшей конкурс на создание центра обработки данных, мы плодотворно потрудились, ее специалисты оказали нам помощь и в разработке технического задания (прорабатывали всё по максимуму, начиная от размещения оборудования).
Проведение процедуры RFI (Request for Information) позволило определить вендоров с лучшими ценовыми параметрами как поставки оборудования, так и стоимости совокупного владения TCO (Total Cost of Ownership). Эта процедура дала также возможность получить оптимальную стоимость поставляемого оборудования и зафиксировать ее в рублях. Все проектные решения, все разделы проекта были тщательно проработаны на предмет соответствия требованиям ТЗ, законодательству и нормативной документации РФ.
При подборе площадки стояла задача выбрать ее из непрофильных активов компаний "Открытие холдинг".
Мы остановились на 5-этажном здании, находящемся в периметре группы компаний, в нем планировалось расположить не только ЦОД, но и архив. На первом этаже, где высота потолков 5,5 м, разместили инженерную инфраструктуру, на втором этаже (потолки 3,5 м) – также ЦОД, на третьем этаже (потолки 5 м) – вся ИТ-инфраструктура.
После того как снесли все существующие перегородки, выяснилось, что здание является котом в мешке. Нам пришлось капитально усилить его, особенно фундамент, потому что те нагрузки, которые мы заявили для ИТ-инфраструктуры (порядка 1500 кг/кв. м), никак не проходили. Изначально проектом было предусмотрено свайное поле, но когда вскрыли грунт, то обнаружили самый разнообразный строительный мусор, поэтому приходилось делать изменения в проекте, уходить от свайных полей на полностью монолитные участки под рамы чиллера.
Первый этаж, входная группа – общие для архива и ЦОД. Слева вверху энергоцентр. Мы сделали три вида маркировки – голубую, желтую и черную, чтобы визуально прослеживать эксплуатацию всей техники, от подстанции до последнего силового щита. Цветовая маркировка очень облегчает систему эксплуатации.
Мы использовали систему чиллер-фанкойл (универсальная система кондиционирования помещений), стоящую на внешнем гликолевом контуре. Может возникнуть вопрос: почему именно гликоль? Дело в том, что мы были вынуждены поставить внешние блоки далеко от машзалов, так как вдоль здания проходит водяной городской трубопровод 1500 мм, а также транзитные магистрали, поэтому пришлось выносить эти блоки достаточно далеко, на 25–30 м.
В помещении ХЦ-1 происходит переход в теплообменниках с гликоля на воду, второй ХЦ – чисто водяной контур; мы применили систему гарантированного холодоснабжения, и в случае полного отключения электроснабжения при полной нагрузке ЦОД (более 2 мВт) мы "проживем на охлажденной воде", которая есть, 18 мин. Третий – на 90% ИТ-этаж, это активный кросс, пассивный кросс, три машинных зала. Для инженерных служб везде выделены специальные помещения: отдельно сделаны главные распределительные щиты каждого машинного зала, отдельно помещения кондиционирования – сервисным и инженерным службам нет необходимости посещать машзалы.
Предусмотрели достаточно большие складские площади, что позволяет нормально складировать запасные части и принадлежности, шкафы, инструменты системы тестирования, наладки оборудования.
Площадку для чиллера сделали двухуровневую, в том числе и для того, чтобы была возможность обслуживать вентиляторы сверху: не нужны монтажные пояса, есть доступ со второго этажа для обслуживания ЦОД. При возведении основных инженерных систем использовались передовые технологии.
При подготовке машзала возникла существенная проблема – шаг колонн и периметральное остекление всего здания. Фактически нам пришлось построить здание внутри здания – утеплить стены, сделать гидроизоляцию. Вся инженерная и ИТ-структура строилась в парадигме Tier III, за исключением топливохранилища.
В середине марта мы провели пусконаладочные испытания, коллеги из ИТ-блока начали нагружать ЦОД. Основная потребность – 300 стоек, 49 коммуникационных стоек и один зал под развитие компании группы. На стадии Facility сертификацию не проводили, но сейчас поставлена такая задача, потому что мы выходим на IPO и, по мнению руководства, это существенно повысит активы.
Диспетчерский пункт расположен внутри здания. Политика банка ограничивает состав подразделения, обслуживающего бизнес, поэтому эксплуатация ЦОД полностью на аутсорсинге. Диспетчерская служба круглосуточная, в смене днем три техника, два инженера, ночная смена – один инженер, один диспетчер и два техника. Их задача – обходы, визуальный контроль, в случае обнаружения аварии – ее локализация и вызов специалистов по направлениям.
Мы не планируем предоставлять сервисы нашего ЦОД сторонним фирмам, он строился для банка и компаний группы "Открытие холдинг". Принято решение, что с начала IV квартала мы полноценно запускаем работы по второму машзалу, все строительные работы окончены, кабельные линии полностью проложены, остаются СКС, холодные коридоры и подключение к всей системе. Поэтому с IV квартала у нас начинается миграция в эту выстроенную структуру – коммерческий ЦОД и собственный. Вопрос выделения ЦОД в отдельную организационную структуру пока не стоит и не будет подниматься: это актив банка, капитализация банка, статус банка – иметь ЦОД 4 МВт. Подобные собственные центры обработки данных в России имеют всего несколько банков.
Опубликовано в журнале "Системы безопасности" №5/2021