Общие принципы построения АСДУ дата-центров

Игорь Дорофеев, 24/08/23

Автоматизированная система диспетчерского управления (АСДУ) повышает устойчивость работы центра обработки данных, обеспечивает быстрое или автоматическое реагирование при чрезвычайных ситуациях и даже позволяет предсказывать возможные сбои отдельных элементов системы. В этой статье мы разберем общие принципы и варианты построения АСДУ на ЦОД.

рис1 (14)-3

В последние месяцы российский рынок АСДУ потерял доступ к немалому количеству зарубежных решений. Однако все больше российских компаний, ранее специализировавшихся в основном на интеграции и продажах, занялись разработкой отечественных продуктов, и весьма успешно. Достаточно большое количество решений по автоматизации ЦОД уже имеют если не российское производство, то инжиниринг и управление продуктом. Безусловно, имеются проблемы со стабильностью производства, элементной базой, тем не менее наличие центров компетенции на территории России позволяет быть гибкими и преодолевать трудности.

Историческое развитие определений

Автоматизированная система управления и диспетчеризации (АСДУ)
Building Management System (BMS)
Data Center Infrastructure Management (DCIM)

От умного дома к DCIM

Умные системы появились не недавно. Еще в советское время было понятие "автоматизированная система управления технологическим процессом" – классическая автоматизация, которая могла быть решена на тех принципах и элементной базе, которые существовали в тот период. Сейчас бы мы назвали это программно-аппаратным комплексом.

Еще в середине 90-х в инжиниринговом сообществе возник термин "умный дом". Тема сразу стала популярной, но не взлетела, потому что имела под собой не совсем оправданные факторы, стимулирующие развитие, а именно:

экономия ресурсов;
протоколирование событий, аварийное управление в случае нештатных ситуаций;
сервис и удобство.

Экономия ресурсов не могла быть актуальной задачей, потому что ресурсы были и остаются относительно дешевыми. Любая автоматизация требовала дополнительных вложений, которые очень нескоро окупились бы, а вопросы аварийного управления закрывались страхованием. И только сервис в управлении инженерной инфраструктурой был как-то оправдан.

Затем система "умный дом" трансформировалась в более емкое понятие – Building Management System (BMS). Эти системы автоматизации зданий и общественных пространств сейчас активно реализуются. И наконец, по мере развития отрасли центров обработки данных (ЦОД) возник термин Data Center Infrastructure Management (DCIM) – система управления инфраструктурой дата-центра. Помимо базовых принципов мониторинга эта система включала в себя дополнительные надстройки, позволяющие специализировать данные, критичные для ЦОД, а также получать те или иные параметры и создавать архивы для наблюдения.

Сбор и обработку данных на базовом уровне предполагают в автоматической системе диспетчерского управление (АСДУ), DCIM предполагает более расширенный функционал.

Сейчас АСДУ и DCIM стали неразделимы или крепко спаяны, получив достаточное экономическое обоснование. Внедрение их в ЦОД дало ту самую ответственную смысловую нагрузку, которой так не хватало в умном доме.
Главные задачи, стоящие перед инженерной инфраструктурой ЦОД:

повышение надежности и гибкости функционирования ЦОД;
диспетчеризация и управление функционалом и затратами ЦОД;
оптимизация.

Системы управления инфраструктурой дата-центров (DCIM)

Помимо спаянности терминов АСДУ и DCIM, также существует смежный или интегрированный блок CMMS (системы управления эксплуатацией центра обработки данных). Полный функционал такой системы позволяет решать следующие задачи:

1. Мониторинг или отслеживание параметров инженерных систем в контрольных точках: протоколирование событий и обычного режима работы. Это обязательная опция для такого рода систем. Чем дольше период наблюдения, тем большее значение приобретает накопленная база знаний и становится актуальным умение работать с Big Data.

2. Аналитика по инфраструктуре. Может быть оперативной, операционной и предиктивной. Накопив знания в процессе мониторинга, мы понимаем ресурс того или иного элемента, видим его качественные изменения к худшему, можем управлять техническим обслуживанием. Благодаря накопленной аналитике мы также получаем возможность заранее предсказать выход из строя и проводить профилактические работы. Отслеживая и конструируя графики, мы визуализируем состояние систем ЦОД как в течение длительного временного периода, так и в отдельно взятый момент.

3. Управление может быть сервисное, аварийное, автоматическое. К функции управления можно отнести и легендарную "волшебную" кнопку экстренного отключения (Emergency Power off) для мгновенного отключения системы электроснабжения или кондиционирования. Когда-то наличие такой опции считалось необходимым, теперь по свежему международному стандарту для центров обработки данных ISO 22237, разработанному на базе EN50600, это не считается обязательным, но допускается.

Другие блоки функционирования комплексной системы:

1. Управление ИТ-инфраструктурой – сервисами и данными. Довольно большая проблема – "сшить" режимы и системы управления ИТ-инфраструктурой с системами управления инженерной инфраструктурой. Исторически ИТ-инфраструктура существовала отдельно от инженерной. Сейчас появились задачи, требующие их плотного взаимодействия, например, для определения того, какая инфраструктура необходима для обработки того или иного объема данных, какова стоимость инфраструктуры для обработки и хранения 1 Тбайта данных; какая будет стоимость соответствующих ИТ-работ.

2. Автоматизация бизнес-процессов и управление активами: управление складом, система поддержки, справочно-информационная система, документооборот – документация в электронном виде. Правда, на практике можно наблюдать, что большинство дата-центров все равно хранят и используют документацию в Hard Copy (в виде распечаток), потому что в критический момент электронная документация может оказаться недоступной.

3. Системы поддержки: справочно-информационные, документооборот.

Еще раз подчеркну, что на практике получается склейка АСДУ, DCIM и CMMS-систем. Разделить эти блоки достаточно тяжело. Если мы рассматриваем минимальный уровень управления дата-центром, то это АСДУ инженерного оборудования.

Производителей достаточно много, у каждого из них есть собственное решение, своя зона комфорта; кто-то силен в одном, кто-то в другом; каждый строит свои системы, исходя из своих плюсов. Если ставится задача построения комплексных систем, важно четко понимать, как будет выглядеть интеграция.

Типовые реализации

Существует несколько ключевых вариантов автоматизации ЦОД, а также гибридные решения.

1. Классический вариант: на базе полевых шин, промышленной автоматизации, SCADA-систем; графический интерфейс, написанный под каждый конкретный ЦОД, под конфигурацию. Такое решение характерно для ЦОД, созданных примерно 10 лет назад. Система получается очень мощной, наверное даже избыточно мощной для ЦОД, но она закрывает все возможные потребности и дает полную свободу для построения АСДУ.

2. На базе NMS и SNMP совместимых устройств. Такое решение, как правило, возникает в тех случаях, когда был создан центр обработки данных, но система автоматизации в силу тех или иных причин сделана не была. Задача, как правило, решается ИТ-специалистами и на уровне ИТ. При этом ИТ-направление может по своему усмотрению и целям начать собирать все возможные сигналы с SNMP-плат, возможных штатных выходов мониторинга оборудования, могут также использоваться дополнительные контроллеры общего назначения. Пишутся различного рода графические интерфейсы, например, на Prometheus, Grafana, и настраивается ИТ-диспетчеризация.

3. Комплексные системы на базе проприетарных протоколов поверх IP/по выделенным каналам связи. Это класс рынка DCIM, который родился из следующей логики: реализация на базе общих промышленных контроллеров – это дорого, а количество сигналов или параметров мониторинга не такое большое (давление, температура, влажность, сухие контакты). Это достаточно ограниченный функционал, поэтому можно сделать простые базовые контроллеры, они будут достаточно дешевыми. Можно также использовать для датчиков и передачи данных стандартную СКС (структурированная кабельная система), обвязать и развернуть специализированную систему для центров обработки данных. Такая система может быть дешевле, она будет специализирована для ЦОД и однозначно востребована. Рынок данного решения начал 10 лет назад активно формироваться в США и в мире, на нем есть примерно топ70 игроков, продвигающих свои продукты и идеологию.

4. Решения на базе IoT. Это сравнительно свежие решения и, в отличие от проприетарных систем, они более открытые, позволяющие комбинировать IoT-решения от разных производителей, в том числе беспроводные. Сейчас, в частности, появилось много китайских элементов систем.

Проблемы "оператор – система"

АСДУ всегда создается с участием персонала, который впоследствии будет ее использовать. Интерфейс "человек – машина" играет даже большую роль, чем фактическая реализация системы. Мы прекрасно понимаем, что АСДУ – это инструмент и его востребованность и удобство являются важной задачей. Взаимоотношения человека и системы должны быть максимально гармонизированы.

При реализации проектов автоматизации ЦОД часто возникают такие проблемы, как:

1. Неверное построение модели/алгоритма функционирования ЦОД и неверное определение точек контроля. Следствием этой проблемы может быть то, что оператор будет понимать, что что-то происходит, но не сможет идентифицировать, что именно.

2. Необоснованное увеличение точек контроля/глубины контроля без существенного повышения надежности ЦОД, увеличение бюджета.
В этом случае оператор может видеть тревожные сигналы, но из-за большого количества точек контроля не может понять их сути.

3. Недостаточное количество точек контроля, упущение критически важных точек и аварийных ситуации. Это обратный случай и противоположная проблема, когда оператор видит данные на вводе в установку, затем на выходе у потребителя, но пропускает целый сегмент, который не может качественно проанализировать.

4. Неправильный выбор варианта реализации применительно к взаимодействию "человек – машина".

5. Отсутствие наглядности и, как следствие, несвоевременная реакция персонала на события; отсутствие времени на принятие решения. Перегруженные или недогруженные интерфейсы, например только текстовые, а не графические, могут уменьшить информативность. Сложности у оператора возникают и при отсутствии звукового дублирования аварийного сигнала, и при отсутствии отсчета времени от момента возникновения проблемы.

6. Неверная оценка расчета сил и средств диспетчерской/технической службы. При отсутствии должного понимания ситуации оператор не будет знать, как действовать.

Заключение

Система управления может реализовываться на любых упомянутых схемах и архитектурах, или на гибридных, или, возможно, на каких-то других. Главное, чтобы выполнялись задачи.

Специалисты говорят иногда, что ЦОД "можно держать на руках" – иметь достаточно простые инструменты, но крайне внимательно относиться или даже "болеть" вопросами эксплуатации. Наоборот, никакие самые качественные инструменты не будут качественно работать при халатном отношении персонала к своим обязанностям.

В построении автоматизированных систем целесообразно собирать значительное чисто параметров, но отслеживать в первую очередь критически важные.

Для того чтобы соответствовать лучшим практикам эксплуатации центров обработки данных, также важно не пренебрегать такими мероприятиями, как тренировки и обучение.