Российский рынок дата-центров в 2024 г. оценивается в 85–90 млрд рублей, а его ежегодный рост составляет 12–15% (данные iKS-Consulting). В условиях повышенного внимания к безопасности, энергоэффективности и отказоустойчивости центров обработки данных (ЦОД), спрос на инновационные инженерные решения продолжает расти, открывая новые возможности для поставщиков инфраструктуры. Мы пригласили специалистов НВП "Болид", "ААМ Системз", "Энерго Тех" и GreenMDC поделиться экспертизой по данной теме, приняв участие в заочном круглом столе. Обсудили, какие изменения произошли на рынке дата-центров, как влияет на инфраструктуру ЦОД искусственный интеллект, поговорили о тенденциях, драйверах развития и сдерживающих факторах и др.
Игорь Путилин, НВП "Болид"
Устойчивый рост спроса на облачные сервисы, а также услуги colocation привели к необходимости увеличения мощности ЦОД и числа стойко-мест, в среднем на 15% в год. По консалтинговым оценкам, в 2024 г. было добавлено около 12 тыс. новых стойко-мест. Это породило в последние годы бум запросов на строительство ЦОД, особенно крупных объектов, причем акцент теперь смещается в сторону региональных площадок в силу дефицита свободных мощностей в электросетях центральных городов.
Что касается аппаратной части ЦОД, то после ухода ряда зарубежных компаний усилились процессы импортозамещения: растет доверие к отечественным платформам, производителям оборудования, однако нехватка некоторых аппаратных решений сохраняется.
Со своей стороны, растет интерес к контейнерным решениям как способу быстро добавить стойки. Кратный рост стоимости зарубежных комплектующих, вкупе с повышением тарифов на электроэнергию и расходов на подключение к сетям, приводит к росту цен на услуги в ЦОД.
В целом на рынке очевидно выделение ряда крупных игроков.
Евгений Кин, ААМ Системз
Впечатляющая динамика появления новых ЦОД, а также ввод очередных мощностей на уже существующих говорят нам о крайней востребованности данных ресурсов в связи со взрывообразным развитием платформ искусственного интеллекта (ИИ). Фактически прямо сейчас мы можем наблюдать битву крупнейших государств и поддерживаемых ими межгосударственных корпораций за доминирующие позиции в цифровом пространстве. Такие названия, как ChatGPT, DeepSeek, Grok, Copilot, Llama 3, YandexGPT, известны в настоящее время даже далеким от использования ИИ людям.
Сергей Хрусталев, Энерго Тех
Российский рынок ЦОД за 2023–2024 гг. прошел фазу ускоренного масштабирования и консолидации. На фоне ухода ряда зарубежных провайдеров и вендоров отрасль продемонстрировала не только устойчивость, но и способность к форсированному развитию.
Георгий Малышев, GreenMDC
За последние несколько лет увеличилось количество запросов именно на модульные ЦОД. Рост составил около 50%. Кроме того, повысилась плотность планируемого к размещению в ЦОД оборудования. Если пять лет назад большинство запросов ограничивалось средней нагрузкой 7 кВт на стойку, то сейчас это 10 кВт и больше.
Игорь Путилин, НВП "Болид"
Основные драйверы развития очевидны: рост спроса на типовые услуги ЦОД (colocation, IaaS, PaaS, SaaS, плюс сетевые и security-сервисы), а также широкая апробация прикладных решений в области ИИ. Наряду с этим на рост влияют:
Сдерживающими факторами видятся:
В перспективе возможно сдерживающее влияние нового закона о ЦОД (реестр Минцифры, запрет майнинга).
Евгений Кин, ААМ Системз
На мой взгляд, бурное развитие ИИ является одним из основных драйверов развития ЦОД. Сюда же, вероятно, можно отнести государственные программы развития цифровых двойников.
Если говорить о каких-то сдерживающих факторах, то для нас, как производителей на рынке безопасности, традиционно важен фактор системного подхода к оборудованию объекта необходимыми средствами защиты, и объекты ЦОД здесь не являются исключением.
Традиционным вопросом при подборе решений для объекта является вопрос их дальнейшего эффективного (синергетического) взаимодействия. При отсутствии такого подхода на объекте можно зачастую наблюдать набор неплохих по своим параметрам отдельных решений, которые, к сожалению, не поддерживают на должном уровне межсистемное взаимодействие. Если у заказчика нет внятного запроса на такую функцию, она и не реализуется в проектах даже при всей своей очевидной важности для профессионалов. Техника может сделать многое, вопрос только, зачем это нужно. Другими словами, как обычно, очень важны правильные формулировки требований со стороны заказчика, подкрепленные соответствующими нормативными документами (которые в основном не затрагивают данный аспект).
Как представитель компании-разработчика СКУД могу отметить, что в данный момент при обсуждении требуемых систем безопасности для ЦОД специалисты прежде всего говорят о важности выбора системы пожаротушения. С другой стороны, совершенно очевидно, что организация защиты от потенциальной угрозы физического доступа к оборудованию ЦОД квалифицированного преступника является не менее важным аспектом для службы безопасности.
Помимо этого, крайне важен контроль действий обслуживающего персонала ЦОД, как собственных сотрудников, так и представителей компаний – арендаторов мощностей. В ряде крупных коммерческих ЦОД практикуется разграничение стоек в оперзале путем установки защитных ограждений. Но, помимо контроля, кто именно и когда был внутри периметра данного ограждения, все равно необходим контроль доступа непосредственно к стойкам, поскольку на соседних стойках может быть размещено облако с развлекательным контентом, а рядом многомилионный процессинг крупной компании. Использование механических ключей для запирания стоек, даже в сочетании с электронными ключницами, не дает службе безопасности точной информации о том, кто именно открыл данную стойку, как долго проводились на ней работы и в какой момент стойка снова была закрыта для доступа. По сути, это базовые возможности СКУД, уже десятилетиями успешно используемые в большинстве отраслей на объектах самой разнообразной структуры и сложности. Сейчас, на мой взгляд, данные задачи в большинстве ЦОД решаются по некоему остаточному принципу.
Даже при работе с крупными игроками данного рынка мы очень часто приходим на уже созданный объект с практически законченным процессом развертывания всей требуемой инфраструктуры. Именно на этом этапе заказчик осознает необходимость организации контролируемого доступа персонала к серверным стойкам. Нет смысла говорить о том, что данные, которые могут храниться на серверах в крупных ЦОД, просто несоизмеримо дороже затрат на организацию системы безопасности и, в частности, требуемой эффективной СКУД.
Сергей Хрусталев, Энерго Тех
Драйверы развития:
Сдерживающие факторы:
Георгий Малышев, GreenMDC
Основным драйвером является рост запросов от коллег, внедряющих цифровые платформы. Попрежнему много заказов приходит от госструктур, большей частью региональных, активно занимающихся цифровизацией во исполнение указов президента.
Еще одним драйвером выступает большой объем привлечения ИИ. Для его использования нужны новые подходы к реализации инженерных систем, с особыми требованиями к эксплуатации. Это весьма высоконагруженное специфическое оборудование. И как показывает объем запросов, оно будет становиться все более востребованным.
Сдерживающим фактором становится дефицит бюджета. Многие госорганы, несмотря на наличие потребности, откладывают проекты, поскольку средства перенаправляют на другие цели.
На коммерческие компании давление оказывают санкции на поставку ИТ-оборудования high-класса. Если раньше крупные передовые компании покупали новейшее оборудование, которое только выходило на мировой рынок, то сейчас это стало значительно сложнее: даже если такое оборудование можно приобрести, то везти его придется обходными путями, через параллельный импорт. Не говоря уже про вендорскую поддержку этого оборудования.
Еще один пример у операторов связи – сеть 5G: ее развитие тормозит не только закрытость этих частот для коммерческого использования, но и невозможность поставки оборудования для ее развертывания. Это, безусловно, замедляет развитие отрасли.
Игорь Путилин, НВП "Болид"
Модульные ЦОД действительно становятся все более востребованными – и в России, и во всем мире. Их активно рассматривают как быстрый и гибкий способ развернуть инфраструктуру под новые задачи, например под ИИ, IoT. Модуль можно установить ближе к источнику данных или клиентам (например рядом с производством, в добывающей отрасли, для edge-компьютинга).
При необходимости модули можно переместить или даже временно эксплуатировать в другой локации. Они позволяют также на первоначальном этапе создать ЦОД при ограниченных сроках и бюджетах, а впоследствии быстро нарастить мощности. Немаловажными достоинствами модульного варианта служат применение стандартизированных решений с заранее протестированными системами питания, охлаждения, безопасности; удобный мониторинг и обслуживание.
Евгений Кин, ААМ Системз
Вероятно, преимущества прежде всего в мобильности развертывания и, соответственно, в быстрой масштабируемости решения. Как следствие, инвестор может рассчитывать на более короткое время возврата вложенных инвестиций.
В условиях общей экономической нестабильности, когда немногие участники рынка готовы играть "вдолгую", такое решение видится наиболее привлекательным для реализации.
Сергей Хрусталев, Энерго Тех
Модульные ЦОД (МЦОД) становятся все более востребованным решением благодаря ряду преимуществ:
При этом для очень больших кампусов капитальные здания остаются более эффективными по удельным затратам в долгосрочной перспективе.
Георгий Малышев, GreenMDC
МЦОД уже давно присутствуют на российском рынке. За это время значительно выросли компетенции их производителей, появился большой опыт реализации, а решения хорошо зарекомендовали себя. В итоге потребители начали им доверять.
Кроме того, МЦОД позволяют за короткое время получить качественный готовый продукт.
Если строительство классического ЦОД (от заключения контракта до установки в него ИТ-оборудования) сейчас занимает полтора-два года, то модульный дата-центр можно развернуть всего за полгода. Причем в любой точке нашей страны. И размером он может быть от одной-двух до 200–300 и более стоек. Это стимулирует спрос, так как позволяет не ждать окончания строительства и пользоваться инфраструктурой, которая уже сейчас начинает приносить прибыль.
Небольшой срок реализации МЦОД исключает также риски того, что за время проекта изменится курс валют, вырастет стоимость оборудования и ресурсов, поставщики уйдут с рынка и придется искать новые решения. При долгом сроке строительства классического ЦОД все это может привести к удорожанию проекта в конце работ процентов на 20 как минимум.
Кроме того, МЦОД можно разворачивать поэтапно, а следовательно, и оплачивать частями. При строительстве классического ЦОД необходимо сразу вкладывать значительную сумму в проект, чтобы сразу строить весь объем, который планируется, а заполнять его постепенно. В случае с модульными ЦОД можно установить дата-центр ровно такого размера и объема, какой нужен сейчас, и масштабировать его по мере необходимости. И это позволит не сразу тратить весь бюджет, а распределить вложения на несколько этапов и использовать их с оглядкой на опыт реализации прошлых этапов. Точно так же можно масштабировать и нагрузки на стойку. Например, в одном автозале первого этапа сделать среднюю нагрузку на стойку 10 кВт, а во втором – 15 кВт или более, если при заполнении первого поняли, что 10 кВт недостаточно.
Еще одно преимущество МЦОД – возможность воспользоваться такой услугой, как поставка оборудования в лизинг. Ведь МЦОД по документам – это оборудование. И лизингодатели активно это предлагают. И если у заказчика нет бюджета на капитальные затраты, он может с помощью лизинга перенести их в операционные. Например, небольшие компании не всегда могут единовременно вложить 150 млн руб., они с большей готовностью будут выплачивать по 10 млн руб. в течение 20 месяцев. Для многих это проще и эффективнее, несмотря на переплату. Ведь оборудованием можно пользоваться и получать прибыль от этого уже сейчас.
Игорь Путилин, НВП "Болид"
За последние два-три года, наверное, именно искусственный интеллект стал главным драйвером перестройки дата-центров. ИИ-модели требуют колоссальных вычислительных ресурсов, особенно при обучении больших языковых моделей. В отличие от традиционных серверов, GPU-кластер может потреблять мощность на порядок больше – до 50 кВт и выше на одну стойку. Поэтому для них обеспечение охлаждения становится главным узким местом. Традиционная архитектура CPU + RAM больше не оптимальна для ИИ. Это меняет топологию сети внутри ЦОД, структуру стоек, требует выделения зон в ЦОД под ИИ-нагрузку.
С другой стороны, ИИ не только нагружает ЦОД, но и может взаимодействовать с ним в вопросах прогнозирования сбоев и аварий, интеллектуального управления энергопотреблением и охлаждением.
Евгений Кин, ААМ Системз
Если говорить о влиянии ИИ на инфраструктуру ЦОД, то прежде всего это рост потребления электропитания. В настоящий момент бурный рост требуемых мощностей зачастую приводит к необходимости модернизации всех систем электропитания, резервирования и охлаждения. В актуальных решениях можно отметить распространение решений на основе жидкостного охлаждения.
Сергей Хрусталев, Энерго Тех
Искусственный интеллект является технологическим вызовом, который фундаментально меняет требования к инфраструктуре дата-центров:
Георгий Малышев, GreenMDC
Массовое применение ИИ влечет увеличение нагрузок и требует специализированных инженерных решений для обеспечения бесперебойной работы оборудования.
Для ИИ нужно высоконагруженное довольно специфическое оборудование. Есть варианты, когда специализированное оборудование работает с воздушным охлаждением и потребляет 25 кВт на одну стойку. Существует также оборудование, которое имеет прямое жидкостное охлаждение для плат (chipkooling, или cold plate), и нагрузка на стойку получается уже 100+ кВт, когда 70% тепла снимается непосредственно с чипов, а около 30% – воздушным охлаждением. Мы видим интерес заказчиков к МЦОДов с таким оснащением.
Игорь Путилин, НВП "Болид"
Новый СП 541.1325800.2024 (далее – СП 541) потребовал учета мощности не только для ИТ-оборудования, но и всей сопутствующей инженерной инфраструктуры (вентиляции, охлаждения и пр.). Наряду с этим требуется учитывать перспективную модернизацию ЦОД: планировка должна позволять изменение площадей, мощностей, перемещение ИТ-оборудования, модернизацию, в том числе с учетом ИИ-нагрузок. Противопожарные требования акцентированы на эвакуационных путях, применении установок пожаротушения, режимах работы вентустановок при пожаре и др. СП 541 предусматривает в ЦОД зоны: технологическую, информационную, телекоммуникационную, инженерную, что является существенным в крупных ЦОД, чтобы упростить обслуживание, минимизировать риски и повысить эффективность.
В своде правил имеются также требования обеспечения антитеррористической защищенности.
Все вышеперечисленное как минимум требует на этапе проектирования новых решений, добавления систем и оборудования.
Евгений Кин, ААМ Системз
К сожалению, в отношении требований к физической безопасности и антитеррористической защищенности данный документ минималистичен. В нем есть п. 10 – "Требования к безопасной эксплуатации зданий и помещений центров обработки данных", это всего одна страница.
Краткий смысл: помещения ЦОД должны быть защищены от несанкционированного доступа и повреждения, ограждающие конструкции машинного зала, помещений инженерной и телекоммуникационной зон должны обеспечивать защиту от проникновения в результате взлома, а также "в зданиях и помещениях ЦОД должны быть предусмотрены системы безопасности, направленные на предотвращение криминальных проявлений и их последствий, способствующие минимизации возможного ущерба…". При этом системы безопасности разрабатывают в соответствии с СП 132.13330, их наличие и виды устанавливают в задании на проектирование.
Здесь можно настоятельно рекомендовать проектировщикам обращаться уже на начальном этапе к опыту экспертов по безопасности, успешно внедряющих СКУД, ОС, CCTV в других сегментах рынка (банковском, промышленном, транспортном и т.д.). В решениях по безопасности для ЦОД не будет кардинального отличия по требованиям со стороны других типов объектов.
Сергей Хрусталев, Энерго Тех
Появление этого свода правил стало знаковым событием, которое формализовало статус ЦОД как отдельного класса капитальных объектов в строительной сфере. Следует отметить:
Георгий Малышев, GreenMDC
Этот СП распространяется на объекты капитального строительства. Модульные ЦОД к ним не относятся. МЦОД – это оборудование, комплексное изделие заводского производства, у которого есть свой серийный номер и паспорт изделия. По документам мы отгружаем каждый МЦОД как одну единицу поставки оборудования в соответствии с комплектацией, указанной в паспорте изделия.
МЦОД также можно перевозить с одной площадки на другую, что нельзя сказать про объекты капитального строительства. Поэтому данный документ кардинальных изменений для производства МЦОД не повлек. При этом мы следим за всеми техническими регламентами, ГОСТами и другими регулирующими документами, касающимися оборудования, и выполняем их требования.
Игорь Путилин, НВП "Болид"
Допустимы различные варианты. Все зависит от того, в каком именно аспекте оценивается или сравнивается ЦОД. С точки зрения физической инфраструктуры подходит оценка по количеству стоек, особенно при сравнении емкости площадок в колокации. Мощность в киловаттах или мегаваттах отражает доступную ИТ-нагрузку, то есть сколько вычислительной мощности реально можно питать и охлаждать – подходит при учете инвестиций и на этапе строительного проектирования. Оценка ЦОД по площади под оборудование отражает потенциал увеличения мощности в перспективе. Иногда применяют показатель энергоэффективности (Power Usage Effectiveness, PUE) как отношение общей потребляемой мощности к мощности ИТ-нагрузки.
Евгений Кин, ААМ Системз
Вероятно, не существует неких универсальных метрик для подобных оценок. Вряд ли такие метрики, как "количество стоек" и "квадратные метры", дают полноценную картину объекта. Профессионалы рынка называют наиболее корректной метрикой для сравнения ЦОД "мегаватты ИТ-нагрузки" (IT Load in Megawatts, MW) – общепринятой в мире.
Сергей Хрусталев, Энерго Тех
Традиционная метрика – количество стойкомест все менее точно отражает реальный потенциал дата-центра. С ростом плотности вычислений, особенно для ИИ-задач, где потребление одной стойки может достигать 30–100 кВт против стандартных 7–12 кВт, одинаковое число стоек может означать разную мощность в 3–10 раз.
Наиболее корректным и универсальным показателем является электрическая мощность, измеряемая в киловаттах (кВт) или мегаваттах (МВт). Именно она определяет, какое количество ИТ-оборудования может быть размещено и бесперебойно функционировать. Целесообразно выделять несколько уровней мощности:
Бизнес-модели и SLA следует привязывать к МВт ИТ-нагрузке и показателям эффективности, таким как PUE.
Георгий Малышев, GreenMDC
ЦОД всегда оцениваются по двум показателям – количеству стойко-мест и полезной ИТнагрузке, которая может быть использована для ИТ-оборудования, установленного в этих стойках. Например, в ЦОД может стоять 10 стоек на 50 кВт полезной нагрузки, где средняя нагрузка на стойку составит 5 кВт.
А может быть ЦОД на 10 стоек и 250 кВт полезной нагрузки, тогда на каждую стойку придется по 25 кВт. Это большая разница в уровне мощности, но физически размер ЦОД будет различатся не сильно. Различие именно в инженерных системах, плотности коммуникаций и т.п. Поэтому для оценки важна совокупность этих двух основных факторов.
При этом обязательно нужно обращать внимание на максимальную возможность подключения на стойку, то есть добавляется третий показатель.
Игорь Путилин, НВП "Болид"
Компаниям, планирующим для своих бизнес-процессов обращение за услугами ЦОД, придется принять во внимание сложившиеся реалии. Во-первых, дефицит доступных мощностей: спрос на площадки для размещения существенно превысил предложение, а так как строительство новых центров занимает годы, дефицит емкостей сохранится еще длительное время. Во-вторых, рост цен на услуги и необходимость прогнозного бюджетирования. В-третьих, региональную концентрацию и доступность ЦОД. Кроме этого, придется сделать ответственный шаг по выбору провайдера дата-центра, обеспечивающего услуги с надлежащим качеством, учетом российских законов и нормативов, имеющего необходимые лицензии и деловую репутацию.
Евгений Кин, ААМ Системз
Востребованность таких услуг растет, и, с учетом скорости роста, следует готовиться к поднятию цен. Новые задачи и внедрение ИИ требуют увеличения мощностей и модернизации имеющихся ЦОД, а следовательно, вырастет и стоимость обслуживания для клиентов.
Сергей Хрусталев, Энерго Тех
В ближайшие годы бизнес столкнется с новой реальностью на рынке ЦОД, к которой следует готовиться заблаговременно:
Георгий Малышев, GreenMDC
Стоит готовиться к увеличению стоимости этих услуг. Растущий спрос рынка высоконагруженного оборудования ведет к тому, что возможности ЦОД увеличиваются. Это, в свою очередь, повышает стоимость как их производства, так и эксплуатации, поскольку операционные затраты тоже растут. И все это будет перекладываться на плечи конечного пользователя ЦОД, будь то оператор коммерческих ЦОД или владелец корпоративного дата-центра.
Поэтому компаниям, которым нужны услуги ЦОД, важно грамотно оценивать эффективность, сроки развертывания и окупаемость проектов их создания. Не просто сравнивать стоимость модульного и капитального ЦОД, а обращать внимание на время запуска инфраструктуры в эксплуатацию и, соответственно, возможность получения прибыли уже сейчас, а не когда-то потом, пока достроят.
Иллюстрация к статье сгенерирована нейросетью Kandinsky