Нормативные базы для создания ЦОД в России и за рубежом

В этой статье я расскажу про многообразие стандартов, применимых к центрам обработки данных (ЦОД). Одни из них касаются отдельных компонентов, другие строительства, третьи больше затрагивают эксплуатационные особенности ЦОД. Стандартов немало. Хорошо ли это?

В каждой развитой стране существуют национальные организации по стандартизации, есть и международные. Стандартизация позволяет сократить время на проектирование и производство, дает возможность применять типовые проверенные решения, облегчает процесс проверки соответствия заявленным характеристикам и т.п.

Однако у стандартизации есть и обратный эффект: стандарты – это шаблон, некие рамки, в случае применения которых ограничивается свобода творчества. Если вы художник, творить по стандарту не получится. Зато выпускать качественную продукцию, повторяя историю успеха, вполне возможно.

Международные организации по стандартизации

Рассмотрим основные международные организации по стандартизации.

ISO

Международная организация по стандартизации ISO (от англ. International Organization for Standardization) создана в 1946 г. 25 национальными организациями по стандартизации. По сути, это было слияние на основе двух международных компаний: ISA (International Federation of National Standardizing Associations), учрежденной в Нью-Йорке в 1926 г. (расформирована в 1942 г.) и UNSCC (United Nations Standards Coordinating Committee), учрежденной в 1944 г. 

Фактически работа ISO началась с 1947 г.

СССР являлся одним из основателей ISO, наши соотечественники были постоянными членами руководящих органов, дважды представитель Госстандарта избирался председателем организации. Россия стала членом ISO как правопреемник СССР и 23 сентября 2005 г. вошла в Совет ISO.

Сфера деятельности ISO касается стандартизации во всех областях, кроме электротехники и электроники, относящихся к компетенции Международной электротехнической комиссии (МЭК, IEC). Некоторые виды работ выполняются совместными усилиями этих организаций. Кроме стандартизации, ISO занимается проблемами сертификации.

ISO выпустила ряд международных стандартов, касающихся ЦОД:

• ISO/IEC 22237–1:2021 Information technology Data centre facilities and infrastructures Part 1: General concepts;
• ISO/IEC 22237–2:2024 Information technology Data centre facilities and infrastructures Part 2: Building construction;
• ISO/IEC 22237–3:2021 Information technology Data centre facilities and infrastructures Part 3: Power distribution;
• ISO/IEC 22237–4:2021 Information technology Data centre facilities and infrastructures Part 4: Environmental control;
• ISO/IEC TS 22237–5:2018 Information technology Data centre facilities and infrastructures Part 5: Telecommunications cabling infrastructure;
• ISO/IEC 22237–6:2024 Information technology Data centre facilities and infrastructures Part 6: Security systems.

Данные стандарты касаются всего, что относится к инженерной инфраструктуре ЦОД: проектирования, строительства, частично затрагиваются вопросы эксплуатации, показателей центров обработки данных.

В соответствии с критериями, описанными в стандартах ISO/IEC 22237–2 и ISO/IEC 22237–5, ЦОД получает оценку класса доступности, а также общий уровень оценки для всего центра обработки данных (1–4). В соответствии с критериями, указанными в стандарте ISO/IEC 22237–6, ЦОД получает класс защиты (1–4).

Помимо указанных стандартов, к основным концепциям, к строительству, которое относится к электрике, к механическим системам, к охлаждению или к кабельной инфраструктуре есть еще масса технических бюллетеней с пометкой TS.

На сайте ISO описываются также не вошедшие в стандарт дополнительные вопросы, которые относятся к построению центров обработки данных. Там можно ознакомиться и с ожидаемыми перевыпусками стандартов, которые происходят примерно раз в пять лет в связи с изменениями в технике и в технологиях.

CENELEC

Европейский комитет по электротехнической стандартизации (European Committee for Electrotechnical Standardization), комитет EN 50600-X Information Technology разработал серию стандартов по проектированию, построению, эксплуатации, ключевым показателям ЦОД – Data Centre Facilities and Infrastructures.

Работа комитета по стандартизации ЦОД стартовала в 2012 г.

Одним из решений стало разделение ЦОД на классы по уровню готовности, физической безопасности и энергоэффективности:

• по уровню готовности ЦОД разделяются на уровни Class 1 – Class 4;
• по уровню физической безопасности ЦОД разделяются на уровни "Зона 1 – Зона 4";
• по уровню энергетической эффективности ЦОД разделяются на "Уровень 1 – Уровень 3".

BICSI

Международная консалтинговая служба строительной отрасли BICSI (Building Industry Consulting Service International) – это профессиональная ассоциация, поддерживающая индустрию информационных и коммуникационных технологии (ИКТ), которая охватывает спектр технологии голоса, данных, безопасности и защиты электронных устройств, аудио и видео, а также технологии автоматизации зданий. Последнее включает в себя проектирование, интеграцию и установку кабельных трасс и мест размещения оборудования, оптоволоконных и медных распределительных систем, беспроводных систем и инфраструктуры, которая поддерживает передачу информации и связанную с ней передачу сигналов между устройствами связи и сбора информации.

Один из самых известных стандартов этой организации – BICSI 002 (Data Center Design and Implementation Best Practices). Последняя его версия вышла в 2024 г. – ANSI/BICSI 002–2024. В этом руководстве много описаний из областей электрики, охлаждения, архитектуры ЦОД, также есть достаточно серьезные приложения с формулами для расчета устойчивости и доступности.

Летом этого года BICSI выпустила новую версию стандарта в части организации обслуживания и технической поддержки ЦОД – ANSI/BICSI 009–2024 Data Center Operations and Maintenance Best Practices.

EIA

Альянс электронной индустрии EIA (Electronic Industries Alliance) – это объединение производителей США в сфере ИТ.

EIA была создана специально для разработки единых стандартов для всех производителей, для того чтобы выпускаемая ими продукция была совместима между собой. История EIA начинается с 1924 г., когда была создана ассоциация производителей радиооборудования (Associated Radio Manufacturers – ARM). Все выпускаемые EIA стандарты обозначаются буквами RS и номером стандарта. Одним из наиболее известных стандартов является RS-232.

Национальные организации по стандартизации

Касательно ЦОД, из национальных нас в первую очередь интересуют американские организации по стандартизации.

TIA

Ассоциация телекоммуникационной промышленности США TIA (Telecommunication Industry Association) известна всем профессионалам своим стандартом TIA-942.

TIA – это ассоциация телекоммуникационной индустрии, объединение ведущих производителей в области связи в США, занимающаяся разработкой стандартов в области связи. Историю TIA можно проследить с 1924 г., когда небольшая группа поставщиков телефонного оборудования собралась, чтобы разработать план развития этой отрасли.

Ассоциация телекоммуникационной индустрии входила когда-то в Альянс электронной индустрии, потом он был реорганизован в 2011 г. За то время, пока ассоциация TIA входила в Альянс, она успела выпустить в 2005 г. стандарт, очень известный в мире, – TIA-942, который развивался довольно интенсивно.

Первая версия этого стандарта была без номера, в свое время она была переведена на русский язык, и многие им пользовались. В 2014 г. вышло обновление с буквой А. В 2017 г. вышла действующая на данный момент редакция стандарта с буквой B: TIA-942B.

В мае 2024 г. была выпущена третья редакция стандарта телекоммуникационной инфраструктуры для центров обработки данных ANSI/TIA942. Эта редакция, известная как ANSI/TIA942-C, основана на предыдущих версиях и продолжает описывать новые технологии для повышения производительности центров обработки данных в условиях появления новых данных и новых технологий, таких как искусственный интеллект (AI) и виртуальная реальность (VR).

В первую очередь стандарт затрагивает кабельную инфраструктуру в ЦОД, но также и организацию помещений в ЦОД, требования к электрике и охлаждению и прочие вопросы создания инженерной инфраструктуры.

Основное приложение, которое используется в стандарте, – приложение F, касающееся рейтинга инфраструктуры и центров обработки данных. В приложении есть четыре таблички, относящиеся к архитектуре, к электрике, к механике, к охлаждению и к телекоммуникационной инфраструктуре. В зависимости от того, какого уровня ЦОД строится или сертифицируется, у них будет разный рейтинг по этим четырем направлениям. Причем рейтинг может варьироваться по разным направлениям, например два по архитектуре и три-четыре по электрике.

Uptime Institute

Uptime Institute (UI) – независимый поставщик консалтинговых услуг, сертификации и обучения в области центров обработки данных. Это консалтинговое агентство, которое предоставляет очень хорошую экспертизу именно по рынку центров обработки данных. Агентство оказывает услуги по сертификации дата-центров во всем мире, и в том числе в России.

Список сертификатов Uptime Institute:

1. Tier Certification of Design Documents (TCDD) – сертификация проектной документации. Консультанты Uptime Institute просматривают полностью всю документацию, включая электрические, механические, мониторинговые и автоматические подсистемы. Они знакомятся с фундаментальными положениями и проверяют, нет ли слабых звеньев в цепи.
2. Tier Certification of Constructed Facility (TCCF) – сертификация построенного ЦОД и проверка на соответствие требованиям, заявленным в проектной документации. Консультанты Uptime Institute посещают объект и выполняют необходимые проверки.
3. Tier Certification of Operational Sustainability – сертификация текущей работы дата-центров. Процесс сертификации включает сравнительный анализ возможностей управленческой команды по специальному чек-листу с обязательным выездом консультантов на место.

Есть четыре уровня надежности дата-центров по стандарту Tier:

• Tier I – базовый уровень. Такой центр располагает выделенным помещением под оборудование, снабжен источниками бесперебойного питания и кулерами. Максимальное время простоя составляет 28,8 часа.
• Tier II – резервирование мощностей. дата-центр оборудуется запасными источниками бесперебойного питания (ИБП) и охлаждения, фальшполами для прокладки кабелей и труб. нормативная пауза составляет менее 22 часов за год.
• Tier III – техническое обслуживание (ТО) и ремонт без остановок. ЦОД третьего уровня распространены больше всего и являются оптимальным решением для ИТ-сервисов, для которых неприемлемы продолжительные паузы и возможные перебои. Предельное время простоя снижается до 1,6 часа благодаря дублированию всей инфраструктуры.
• Tier IV – максимальная отказоустойчивость. Это самый надежный класс ЦОД. Его отличительная особенность состоит в 100%-ном дублировании всех компонентов инфраструктуры по схеме 2(N+1).

Сертификаты UI достаточно кратковременные: какие-то выдаются на год, какие-то на три.

В 115 странах на данный момент выполнено порядка 2 650 сертификаций Uptime. Эта американская организация сейчас представлена и в России.

ASHRAE

Стандарты американского сообщества инженеров по отоплению, охлаждению и кондиционированию ASHRAE (The American Society of Heating, Refrigerating and Air-Conditioning Engineers) в основном интересны тем специалистам, которые отвечают за охлаждение ЦОД.

В пятом издании Рекомендаций по тепловому режиму в средах с оборудованием для обработки данных (Thermal Guidelines for Data Processing Environments, 5th Ed) к существующим классам ИТ-оборудования (от A1 до A4) добавлен класс оборудования H1.

К этому классу относятся системы с тесно интегрированными высокопроизводительными компонентами (серверными процессорами, ускорителями вычислений, микросхемами памяти и сетевыми контроллерами). Так, если у вас в ЦОД предполагается размещение высокопроизводительных серверов, то у вас начинают действовать требования по ограничению температурного диапазона. Если для обычного оборудования температурный диапазон колеблется от 18 до 27 °C, то для оборудования класса H-1 это от 18 до 22 °C.

В руководстве ASHRAE представлены I-d диаграммы, на которых изображен неправильный прямоугольник с возможными разрешенными значениями температуры и влажности. На сайте ASHRAE вы также найдете карту, на которой можно выбрать любую местность, где планируется строительство ЦОД, и посмотреть значение минимальной и максимальной температуры воздуха за много лет, эта информация поможет рассчитать параметры установки для охлаждения.

Российская нормативная база

За время своего существования технический комитет ТК 120 "Центр обработки данных" выпустил определенное количество стандартов, которые также можно использовать в своей работе.

Среди них:

• ГОСТ Р 58811–2020 "ЦОД. Инженерная инфраструктура. Стадии создания";
• ГОСТ Р 58812–2020 "ЦОД. Инженерная инфраструктура. Операционная модель эксплуатации. Спецификация";
• ГОСТ Р 70139–2022 "ЦОД. Инженерная инфраструктура. Классификация";
• ГОСТ Р 70627–2023 "ЦОД. Инженерная инфраструктура. документация. Техническая концепция. Требования к составу и содержанию".

Технический комитет ТК 22 "Информационные технологии" также выпустил ряд стандартов по показателям ЦОД:

• ГОСТ Р И СОМЭК 30134-1–2018 "ЦОД. КПЭ. Основные положения и общие требования";
• ГОСТ Р И СОМЭК 30134-2–2018 "ЦОД. КПЭ. ПУЭ";
• ГОСТ Р И СОМЭК 30134-3–2018 "Коэффициент возобновляемой энергии (REF)".

ГОСТ на классификацию – это один из самых проблемных стандартов, в котором много открытых вопросов. Классификация получилась достаточно сложная, по ней выделяется пять уровней, пять классов для ЦОД, и для коммерческих, и для государственных. При этом у профессионалов отрасли ЦОД постоянно возникают вопросы по параметрам классификации.

Некоммерческая организация АНО КС ЦОД параллельно выпустила свою альтернативную классификацию. Есть два противоположных мнения: одно, что эти классификации сильно противоречат друг другу и сосуществовать не могут, другое – что нужно придерживаться общемировой практики, где принято использовать одновременно множество классификаций.

Сейчас ведется работа АО "ЦНИИ Промзданий", которое разрабатывает СП "Здания и сооружения центров обработки данных. Правила проектирования".

Видно, что и в мире, и в России отрасль ЦОД активно развивается, работа по стандартизации активно ведется, стандарты постоянно обновляются или появляются новые, и, чтобы оставаться в курсе последних событий в проектировании, строительстве и эксплуатации ЦОД, надо регулярно отслеживать появление новых версий, вникать, какие произошли изменения в требованиях.

Опубликовано в журнале "Системы безопасности" № 4/2024

Все статьи журнала "Системы безопасности"
доступны для скачивания в iMag >>

Изображение сгенерировано нейросетью Шедеврум