Инженерная площадка охлаждения дата-центра: сравнение открытых испарительных градирен и сухих градирен замкнутого цикла с адиабатическими панелями

RICEWIND / Отраслевой обзор

Архитектура охлаждения ЦОД: открытые испарительные градирни против замкнутых адиабатических систем в эпоху гигаваттных ИИ-кластеров

Настоящий технический меморандум Института инфраструктурных исследований RICEWIND посвящен детальному термодинамическому анализу и сравнительной оценке жизненного цикла двух доминирующих топологий отвода тепла в центрах обработки данных: открытых испарительных градирен и замкнутых систем сухого/адиабатического охлаждения. При проектировании инфраструктуры для высокоплотных ИИ-кластеров с плотностью тепловыделения свыше 1000–1500 Вт на процессорный сокет инженеры сталкиваются с жестким компромиссом между энергетической эффективностью (PUE) и расходом водных ресурсов (WUE). Открытые испарительные контуры используют скрытую теплоту парообразования воды (~2260 кДж/кг), обеспечивая дисконт капитальных затрат (CapEx) на уровне 60–70% и снижая пиковое энергопотребление на 10–35% в летний период за счет приближения к температуре смоченного термометра. Однако водопотребление масштаба 20 000–50 000 галлонов в сутки на 1 МВт ИТ-нагрузки приводит к расходу до 50 млн галлонов в сутки для гигаваттных кампусов, что вызывает нормативные запреты в вододефицитных бассейнах. На дистанции 10–15 лет затраты на водоподготовку, химическую дезинфекцию от Legionella, непрерывную продувку и очистку стоков нивелируют начальную экономию CapEx. В качестве оптимального решения рассматривается переход на контуры прямого жидкостного охлаждения классов ASHRAE W3/W4 (32°C–45°C) с гибридными адиабатическими триммерами, снижающими годовое потребление воды более чем на 95% при сохранении лимитов электрической мощности.

ОпубликованоАвтор: Институт инфраструктурных исследований RICEWIND

Термодинамика скрытой теплоты против гидрологических ограничений: масштабы потребления мегагаллонов воды

Отвод тепловой мощности в мегаваттном масштабе подчиняется фундаментальным законам термодинамики фазовых переходов. Открытые испарительные градирни используют скрытую теплоту парообразования воды (энтальпию испарения порядка 2260 кДж/кг при стандартном атмосферном давлении), что позволяет отводить колоссальные тепловые потоки при минимальном объемном расходе циркулирующего теплоносителя. Данный физический механизм обеспечивает температурный напор по отношению к температуре смоченного термометра (wet-bulb temperature), который существенно ниже температуры сухого термометра окружающего воздуха. В результате температура охлажденной воды на выходе из открытой градирни может поддерживаться в диапазоне 24–29°C даже при температуре наружного воздуха выше 38°C. Однако этот фазовый переход неизбежно сопряжен с безвозвратным расходом воды: каждый киловатт-час отведенного тепла требует физического испарения определенной массы теплоносителя, дополняемой потерями на капельный унос и технологическую продувку.

Эмпирические данные эксплуатации вычислительных комплексов показывают, что 1 МВт непрерывной ИТ-нагрузки, обслуживаемый классическими мокрыми градирнями, потребляет от 20 000 до 50 000 галлонов (75–190 кубических метров) подготовленной пресной воды в сутки в зависимости от психометрических условий и минерализации подпиточной воды. При масштабировании до типового регионального дата-центра мощностью 10 МВт суточный расход достигает 200 000–500 000 галлонов, для кампуса на 100 МВт — от 2 до 5 млн галлонов, а проектируемые гигаваттные кластеры для инференса и обучения нейросетей требуют астрономических 20–50 млн галлонов в сутки (до 190 000 м³/сутки). Подобный водозабор эквивалентен потреблению крупного мегаполиса с населением в миллион человек. В условиях прогрессирующего истощения водоносных горизонтов в засушливых регионах США (бассейн реки Колорадо), Южной Европы и Ближнего Востока операторы сталкиваются с жестким экологическим регулированием, мораториями муниципальных властей и прямым отказом в выдаче разрешений на водопользование.

  • Расчетный суточный расход подпиточной воды: 20 000–50 000 галлонов/сутки на каждый 1 МВт ИТ-нагрузки.

  • Инженерный аудит лимитов локального водозабора: подтверждение гарантированного дебита скважин или коммунального водопровода при пиковых тепловых нагрузках.

  • Обязательная интеграция ультразвуковых и электромагнитных расходомеров на линиях подпитки, испарения и продувочного сброса для непрерывного мониторинга водного баланса.

  • Оценка юридических и репутационных рисков отзыва лицензий на водопользование в регионах с индексом водного стресса (Water Stress Index) выше 3.5.

Капитальные затраты и металлоемкость: почему открытые системы сохраняют дисконт CapEx в 60–70%

С точки зрения первичных капитальных затрат (CapEx) на этапе строительства механического двора (mechanical yard) открытые испарительные градирни демонстрируют непревзойденную экономическую привлекательность, сохраняя дисконт в 60–70% по сравнению с эквивалентными по мощности замкнутыми сухими охладителями (dry coolers) или адиабатическими установками. Данный ценовой разрыв обусловлен на порядки более высоким коэффициентом теплопередачи при прямом контакте капельной или пленочной струи воды с восходящим потоком воздуха внутри оросительного слоя градирни. Отсутствие металлического разделяющего барьера между охлаждаемой средой и воздухом исключает промежуточные термические сопротивления, позволяя использовать недорогие полимерные оросители из поливинилхлорида (ПВХ) или полипропилена вместо дорогостоящих коррозионно-стойких сплавов.

Напротив, замкнутые системы сухого охлаждения представляют собой высокометаллоемкие теплообменные аппараты, состоящие из сотен километров медных, медно-никелевых или алюминиевых трубок с оребрением, либо массивных цельносварных микроканальных блоков из специализированных сплавов алюминия. Для преодоления низкого коэффициента конвективной теплоотдачи сухого воздуха замкнутые установки требуют монтажа гигантских батарей вентиляторов с электронно-коммутируемыми (EC) двигателями, создающими высокое статическое давление, что резко увеличивает стоимость электротехнической обвязки, частотных приводов и распределительных щитов. Кроме того, удельная тепловая плотность открытых градирен на квадратный метр площади застройки в 3–5 раз выше, чем у драйкулеров. Развертывание сотен сухих охладителей на кровле или прилегающей территории требует значительного увеличения площади участка, усиления несущих строительных конструкций и монтажа многокилометровых магистральных трубопроводов большого диаметра.

  • Сравнительный анализ материалоемкости: оценка стоимости меди, микроканального алюминия и нержавеющей стали AISI 316L для замкнутого контура.

  • Аудит удельной нагрузки на перекрытия и несущие фундаменты: драйкулеры требуют до 3,5 раз большей несущей способности опорных конструкций.

  • Расчет гидравлических потерь в магистралях: диаметры коллекторов открытого контура обычно компактнее за счет меньшей протяженности распределительных узлов.

  • Оценка плотности теплоотвода: расчет допустимой термической нагрузки на единицу площади генплана (МВт тепла / м² площадки размещения).

Парадокс PUE против WUE: преодоление 25–40% энергетического штрафа сухого охлаждения

Энергетическая дилемма центров обработки данных формулируется как компромиссное противостояние между коэффициентом эффективности использования энергии (PUE) и коэффициентом эффективности использования воды (WUE). Чиллеры с водяным охлаждением конденсатора через открытые градирни термодинамически превосходят чиллеры с воздушным охлаждением на 25–40% по удельному энергопотреблению компрессорного оборудования. Это связано с тем, что температура конденсации в водяных системах лимитируется температурой смоченного термометра, которая редко превышает 24–28°C даже в пиковые периоды жары, тогда как конденсаторы сухого типа вынуждены сбрасывать тепло в воздух с температурой сухого термометра, достигающей 40–45°C. Каждый градус снижения температуры конденсации уменьшает степень сжатия в центробежных или винтовых компрессорах, сокращая потребляемую электрическую мощность на 2–3%.

В наиболее критические периоды летних пиковых нагрузок открытые испарительные системы снижают совокупную электрическую мощность дата-центра на 10–35%, предотвращая перегрузку трансформаторных подстанций и локальных распределительных сетей. Переход на чисто сухое охлаждение устраняет потребление воды (WUE стремится к нулю), однако налагает жесткий штраф на сетевую инфраструктуру. Дополнительные сотни киловатт мощности, расходуемые вентиляторами драйкулеров и тяжело нагруженными компрессорами, уменьшают полезную электрическую емкость, доступную для вычислительного оборудования. В регионах с жесткими лимитами на технологическое присоединение к электросетям потеря полезной мощности ради нулевого водопотребления может оказаться экономически неприемлемой, снижая доходность всего проекта ЦОД.

  • Моделирование PUE/WUE матрицы для конкретной климатической зоны с шагом анализа в 1 час на базе архивов погоды TMY3/EPW.

  • Расчет пиковой электрической мощности подстанции с учетом работы компрессоров при максимальной расчетной температуре сухого термометра ASHRAE 0.4%.

  • Оценка затрат на технологическое присоединение дополнительных электрических мощностей, необходимых для компенсации 25–40% энергозатрат драйкулеров.

  • Внедрение комплексного критерия TCO-PUE-WUE, учитывающего региональную стоимость 1 кВт·ч электроэнергии и 1 м³ водоснабжения и водоотведения.

Психрометрические границы: депрессия точки росы в аридных зонах против насыщения влажного климата

Эффективность любого испарительного процесса жестко детерминирована психрометрическими параметрами наружного воздуха, в первую очередь депрессией точки росы (психрометрической разностью) — дельтой между показаниями сухого и влажного термометров. В аридных регионах (центральная Испания, внутренние штаты США, страны Персидского залива) температура сухого воздуха может достигать 42–46°C при относительной влажности менее 15–20%. В таких условиях температура смоченного термометра держится на уровне 20–24°C, что дает глубокую психометрическую депрессию свыше 20°C. Это позволяет открытым градирням генерировать воду с температурой 24–26°C, обеспечивая максимальный КПД парокомпрессионных машин или даже прямой естественный теплообмен (экономайзерный фрикулинг) без включения компрессоров.

Принципиально иная картина наблюдается в субтропических и влажных морских климатических зонах (Сингапур, побережье Мексиканского залива, Флорида, приморские районы Юго-Восточной Азии). Здесь относительная влажность воздуха в летний период часто приближается к 85–95% при температуре 32–35°C, из-за чего температура смоченного термометра поднимается до экстремальных значений в 29–31°C. В таких условиях термодинамический потенциал испарения практически аннулируется: открытая градирня не способна выдать воду холоднее 32–34°C даже при бесконечно больших расходах воздуха. Это вынуждает компрессоры работать с максимальным напором и энергопотреблением, полностью нивелируя эксплуатационные преимущества мокрого контура. В подобных средах доступность неограниченных источников охлаждения (морская вода, проточные эстуарии) требует применения изолированных титановых промежуточных контуров либо безоговорочного перехода на замкнутые схемы с фреоновым доохлаждением.

  • Анализ психрометрических диагоналей Молье: построение энтальпийных кривых для экстремальных климатических профилей площадки строительства.

  • Определение годового количества часов фрикулинга при допустимой дельте температур между теплоносителем и влажным воздухом.

  • Проверка устойчивости контура охлаждения к тропическим шквалам и периодам предельного влажностного насыщения воздуха (RH > 90%).

  • Инженерный аудит коррозионной стойкости оборудования в приморских средах с высоким содержанием солей в атмосферном аэрозоле.

Водоподготовка, циклы продувки и инверсия совокупной стоимости владения (TCO) на 15-летнем горизонте

Эксплуатация открытых испарительных контуров неразрывно связана со сложным комплексом химико-технологических мероприятий по водоподготовке. Постоянное испарение чистой воды приводит к прогрессирующему концентрированию растворенных солей (кальция, магния, хлоридов, сульфатов) в циркуляционном поддоне. Для предотвращения выпадения карбонатной накипи и коррозии металлоконструкций инженеры вынуждены жестко контролировать показатель циклов концентрирования (Cycles of Concentration, CoC). Поддержание требуемого уровня CoC (обычно от 3 до 6) требует непрерывной или импульсной продувки (blowdown) — принудительного сброса высокоминерализованной воды в канализацию и добавления эквивалентного объема умягченной подпиточной воды. Чем ниже исходное качество воды, тем чаще требуется продувка, что увеличивает совокупный водозабор на 20–40% сверх объема испарения.

Кроме минерализации, открытая градирня функционирует как гигантский воздушный скруббер, непрерывно улавливая из атмосферы взвешенные частицы, пыльцу, бактерии и споры грибков. Теплая аэрированная вода создает идеальную биологическую среду для размножения патогенной микрофлоры, в частности бактерии Legionella pneumophila. Это диктует необходимость постоянного прецизионного дозирования окисляющих и неокисляющих биоцидов, ингибиторов накипеобразования, дисперсантов и корректоров pH. На 10–15-летнем горизонте владения кумулятивные операционные затраты (OpEx), включающие тарифы на промышленное водоснабжение, плату за сброс токсичных сточных вод, закупку химических реагентов, механическую чистку трубных пучков конденсаторов и регулярную замену оросителей, подверженных биообрастанию, полностью нивелируют первоначальный 60–70% дисконт CapEx. Происходит инверсия кривой TCO, делающая замкнутые необслуживаемые системы экономически более выгодными в долгосрочной перспективе.

  • Расчет индекса стабильности Ланжелье (LSI) и индекса Ризнера (RSI) для исходной и циркуляционной воды градирни.

  • Внедрение автоматизированной системы контроля электропроводности и автоматических клапанов продувки по достижении критического CoC.

  • Монтаж двухканальной системы биоцидной обработки (чередование гипохлорита натрия/диоксида хлора и изотиазолинонов) с валидацией по стандарту ASHRAE 188.

  • Построение 15-летней модели совокупной стоимости владения (TCO) с учетом прогнозируемого роста тарифов на водоотведение и экологических сборов.

Гибридные топологии нового поколения: прямое жидкостное охлаждение ASHRAE W3/W4 с тримминговым адиабатическим пикорезом

Тепловая эволюция кремниевых чипов ИИ, где рассеиваемая мощность на один сокет процессора или ускорителя (ASIC/GPU) превышает 1000–1500 Вт, окончательно сломала парадигму традиционного воздушного охлаждения машзалов. Снятие экстремальных удельных тепловых потоков свыше 100 Вт/см² на уровне кристаллов требует безальтернативного применения прямого жидкостного охлаждения на чип (Direct-to-Chip Liquid Cooling, DLC). Этот технологический переход фундаментально трансформирует температурные графики машинного отделения: согласно тепловым рекомендациям классов ASHRAE W3 и W4, температура теплоносителя, подаваемого на серверные водоблоки, может составлять от 32°C до 45°C, а температура обратной магистрали поднимается до 50–60°C. Необходимость в производстве охлажденной воды с низкой температурой (+7°C...+12°C) полностью отпадает.

Столь высокий температурный напор открывает возможность круглогодичной эксплуатации замкнутых систем охлаждения в режиме 100% фрикулинга практически в любой точке земного шара. Передовой архитектурный стандарт объединяет замкнутый контур DLC, отводящий более 85% тепловыделения серверных стоек, с внешними сухими охладителями, оснащенными адиабатическими триммерами (wetted pads или форсуночное мелкодисперсное распыление). В базовом режиме (95% времени в году) драйкулер функционирует в абсолютно сухом состоянии без капли воды. В увлажнение переходят исключительно в периоды пиковых летних температур (верхние 5% годового профиля наружного воздуха), испаряя расчетную порцию влаги на входе в оребренный теплообменник для снижения температуры входящего воздуха. Данная гибридная топология снижает годовое потребление воды более чем на 95% по сравнению с открытыми градирнями, полностью сохраняет электрическую емкость подстанции и гарантирует нулевые риски легионеллеза.

  • Проектирование распределительных узлов теплообмена (CDU) с вторичным контуром DLC под температурные графики подачи 32–45°C (ASHRAE W3/W4).

  • Настройка алгоритма предиктивного включения адиабатического увлажнения (adiabatic trim) строго по уставке превышения порога сухого термометра.

  • Интеграция систем водоподготовки обратного осмоса с циклом самоосушения для предотвращения застоя воды в адиабатических форсунках и матах.

  • Обеспечение дублирования насосных групп первичного замкнутого контура по схеме N+1 или 2N с частотно-регулируемым приводом по перепаду давления.

Поставки оборудования и техническая поддержка

Для получения технической документации, расчета энергетической топологии и оптовых заказов свяжитесь со специалистами RICEWIND.