Роб Сайкербайк, Михаил Бажанов, 13/07/21
Одним из способов оптимизации работы дата-центра является увеличение плотности размещения оборудования в расчете на единицу площади. В таком случае потребуется меньшее количество стоек и PDU (Power Distribution Unit, распределитель питания), однако к ним будут предъявляться повышенные требования.
Например, можно подвести к стойке мощность 40 кВт при использовании шкафа высотой 54U и двух 3-фазных PDU на 63 А. Сразу же возникают следующие задачи мониторинга таких показателей, как:
- Электропитание. Желательно на уровне как отдельной розетки, так и автоматического выключателя, с уведомлениями о превышении допустимых пороговых значений. Для этого потребуются интеллектуальные PDU, подключаемые к локальной сети.
- Температура на разных уровнях стойки – снизу, посередине и наверху. При высокой нагрузке и неравномерном распределении оборудования эти значения могут существенно различаться. Кроме того, полезно знать и параметры горячего воздуха, выдуваемого из стойки с задней стороны. Поток воздуха может достигать температуры 60 °С, поэтому необходимо убедиться, что размещаемые в этой зоне PDU рассчитаны на работу при такой температуре.
- Дифференциальное давление. Это удобный и достаточно универсальный способ диагностики системы охлаждения. Любая причина, от выхода из строя какого-либо элемента системы до сдвинутой плитки или случайно оставленной на полу коробки, перекрывающей поток воздуха, может привести к уменьшению дифференциального давления. Важно найти ее еще до того, как температура начала критически повышаться, и принять соответствующие меры.
Обязательно потребуется ПО для мониторинга – DCIM (Data Center Infrastructure Management). Оно позволяет не только видеть мгновенные значения собираемых данных, но и накапливать их, анализировать, строить графики, получать отчеты и на основании этой информации принимать взвешенные решения по управлению дата-центром.
К примеру, изучив, как изменяется температура в разные периоды времени (день/ночь, зима/лето, будни/выходные и т.д.), можно оптимизировать работу и избежать избыточного охлаждения в соответствии с полученным графиком. Нелишним будет измерение электроэнергии, потребляемой отдельными вспомогательными системами в дата-центре, например это может быть система освещения в машинном зале. Удобным инструментом для измерения является устройство для мониторинга распределительных линий, которое устанавливается прямо в электрощитке и за счет применения измерительных трансформаторов не требует отключения существующих проводников.
Cправедливой оценкой эффективности работы ЦОД будет количество электроэнергии, измеряемой в ваттах, необходимой для выполнения определенной задачи. Ведь именно для этого и созданы дата-центры – содержать устройства, выполняющие вычисления.
Простые алгоритмы для высокого результата
Cправедливой оценкой эффективности работы ЦОД будет количество электроэнергии, измеряемой в ваттах, необходимой для выполнения определенной задачи. Ведь именно для этого и созданы дата-центры – содержать устройства, выполняющие вычисления. Не мы придумали такой метод оценки – все аплодисменты следует адресовать команде eBay. Они знают количество выполняемых транзакций (которые и есть суть их бизнеса) и могут вычислить количество электроэнергии, затраченной на одну транзакцию. Кстати, недавно этот метод был запатентован. Наверное, всем знаком термин PUE (Power Usage Efictiveness, или эффективность использования энергии) – соотношение общей затрачиваемой дата-центром энергии к энергии, потребляемой вычислительными устройствами. но следует отметить, что у такого подхода есть определенные недостатки. Например, что происходит, когда устаревшие серверы меняются на новые, более энергоэффективные? PUE увеличивается, а счета за электричество уменьшаются, что и является целью оптимизации. Поэтому дело не в самом коэффициенте (который в идеале стремится к единице), а в том, инструментом для измерения чего он служит, какая часть энергии расходуется на то или иное оборудование. Порой достаточно простые решения способны обеспечить значительный результат:
- изоляция воздушных потоков при помощи системы Free Standing Corridor – даже при наличии стоек с разными габаритами;
- замена традиционного освещения на светодиодное, установка датчиков движения.
Возможно, следует применить какое-то решение в тестовом режиме в ограниченном объеме, а при получении положительных результатов продолжить масштабирование. Главное – проводить измерения, позволяющие точно оценить результат от внедрения инноваций.
Не все могут позволить себе инновации
Это может казаться странным или даже противоречивым, но, по нашему опыту, индустрия дата-центров достаточно инертна и отчасти консервативна. Разумеется, это касается большинства участников рынка. Всегда найдутся те, кто сделают ставку на инновации и попробуют примерить на себя роль лидера. Взять, к примеру, подводные дата-центры или Open Compute Project (OCP) – отличные идеи. Но широко применяться они так и не стали, оставшись нишевым решением. 19-дюймовая стойка высотой X юнитов внутри, снаружи дует охлажденный воздух – лошадей на переправе не меняют, не так ли?
На наш взгляд, унификация должна начинаться со стороны производителей серверного и телекоммуникационного оборудования, а пока они используют различные, зачастую несовместимые между собой стандарты и протоколы. В большинстве дата-центров применяется разношерстный набор оборудования, и в ближайшей перспективе им вряд ли станут доступны футуристические инновации. Лишь гиганты индустрии – Google, Apple, Facebook, Amazon и Microsoft могут позволить себе внедрение таких передовых технологий.
Центр обработки данных Google
Быстрое решение типовых задач
Одна из часто возникающих задач в дата-центре (особенно в активно развивающемся, с постоянно изменяемым оборудованием) – отслеживание отдельных серверов на физическом уровне и управление доступными ресурсами для размещения серверов.
Как показывает практика, о системе управления физическими активами не задумываются, пока не будет утерян дорогостоящий сервер (пусть и один из тысяч, но его цена уже почти сопоставима со стоимостью такой системы). Кроме того, нужно точно знать, к какому сетевому порту на коммутаторе подключен тот или иной сервер.
И даже если в стойке есть свободное место для сервера, перед его установкой сначала необходимо убедиться, что есть доступные сетевые порты.
Не менее важно обеспечить сервер электропитанием: проверить, есть ли у PDU необходимая розетка, существует ли необходимый запас мощности и не приведет ли подключение сервера к срабатыванию автоматического выключателя, в том числе и в случае аварийной ситуации на одном из вводов. Ручная проверка всех этих необходимых условий может занимать значительное время, особенно если требуется задействовать сотрудников из разных отделов. Внедрение DCIM-системы позволяет существенно облегчить выполнение типовых задач управления активами и кардинально изменить процесс управления дата-центром.
