Архитектура Nvidia DSX Pod: Инженерия модульных контейнерных ЦОД мегаваттной плотности для вычислений поколения Vera Rubin

Фабрично-интегрированный ЦОД: сжатие цикла строительно-монтажных работ с месяцев до дней

Традиционная модель возведения капитальных дата-центров (stick-built civil engineering) исчерпала свою экономическую и эксплуатационную состоятельность в эпоху взрывного масштабирования генеративного искусственного интеллекта. Классический цикл развертывания крупного объекта занимает от 18 до 24 месяцев, из которых не менее полугода уходит на полевую интеграцию электротехнических и механических систем, монтаж трубопроводов и локальное тестирование подсистем распределения питания в неконтролируемых условиях строительной площадки. Любая несогласованность цепочек поставок или дефицит квалифицированных монтажников приводит к критическому простою дорогостоящей кремниевой базы. Концепция Nvidia DSX Pod реализует фундаментальный сдвиг инженерной парадигмы в сторону концепции Factory-Built Data Center, в рамках которой контейнерный модуль выступает полностью готовым функциональным блоком вычислительной фабрики, собираемым, обвязываемым, каблируемым и всесторонне валидируемым в заводских условиях с соблюдением прецизионных допусков промышленного производства.

Архитектурное исполнение DSX Pod исключает вариативность полевой интеграции за счет поставки стандартизированного защищенного контейнерного конструктива, включающего в себя предварительно установленные коммутационные узлы, гидравлические распределительные модули (CDU) и кабельные трассы InfiniBand Quantum-X800. При доставке на подготовленную площадку с подведенными инженерными сетями (электропитание среднего/низкого напряжения, внешний контур оборотной воды и оптические магистрали) процедура механического монтажа, гидравлической опрессовки и ввода в эксплуатацию сжимается с типичных 6 месяцев до рекордных 14 дней. Данная компрессия сроков снимает системную зависимость от локального дефицита рабочей силы, снижает накладные расходы на пусконаладку и гарантирует абсолютную повторяемость теплотехнических и электрических характеристик каждого развертываемого модуля в составе кластеров гигаваттного класса.

• Заводская сборка, каблирование и гидростатические испытания контуров под давлением 10 бар до отправки модуля на площадку

• Сокращение времени полевых пусконаладочных работ (site commissioning) со 180 до 14 календарных дней

• Исключение рисков несогласованности полевого монтажа за счет предварительной калибровки сенсорных и противоаварийных систем

Мегаваттная объемная плотность: компоновка стоек Vera Rubin NVL72

Плотность компоновки аппаратного обеспечения внутри DSX Pod устанавливает новый отраслевой стандарт для модульной мобильной инфраструктуры. В пределах физических габаритов стандартного 40-футового ISO-контейнера повышенной вместимости (High Cube) размещаются ровно семь вычислительных стоек архитектуры Vera Rubin NVL72. Каждая стойка NVL72 представляет собой монолитную вычислительную фабрику с энергопотреблением в диапазоне от 120 до 132 кВт, что формирует суммарную IT-нагрузку модуля на уровне 850–950 кВт (с приближением совокупной подводимой мощности к отметке 1 МВт с учетом вспомогательных агрегатов). Достижение столь экстремальной объемной плотности потребовало радикального пересмотра внутренней кинематики шкафов, организации сервисных коридоров и систем фиксации вычислительных лотков (trays).

Внутреннее пространство контейнера организовано с прецизионным разделением сервисных зон и зон коммутации. Для минимизации паразитных механических напряжений на оптические и гидравлические интерфейсы стойки монтируются на демпфирующие направляющие рельсы с механизмами слепого сочленения (blind-mate slide rails). Организация внутренних проходов спроектирована с учетом требований горячей замены вычислительных узлов силами одного оператора с применением встроенных мостовых микроподъемников. Высокоплотные коридоры оптической коммутации разнесены по верхнему ярусу контейнера, изолируя кабельные жгуты от тепловыделяющих элементов и гидравлических коллекторов, что предотвращает деградацию радиусов изгиба волокна и обеспечивает беспрепятственный доступ к узлам питания с тыльной стороны стоек.

• Интеграция 7 стоек Vera Rubin NVL72 с единичной мощностью от 120 до 132 кВт в габаритах 40-футового ISO High Cube

• Плотность полезной IT-нагрузки модуля: от 850 до 950 кВт на контейнерный блок

• Применение прецизионных направляющих blind-mate для обеспечения горячей замены узлов без риска повреждения оптических и гидравлических разъемов

Прямое жидкостное охлаждение Direct-to-Chip и безчиллерный сброс тепла

Утилизация около 1 МВт тепловой энергии в замкнутом объеме контейнера полностью исключает использование традиционных воздушных систем кондиционирования (CRAC/CRAH). DSX Pod использует полностью жидкостную двухконтурную топологию охлаждения Direct-to-Chip (D2C). Внутренний вторичный контур выполнен на базе нержавеющих коллекторов аустенитного класса с быстроразъемными бескапельными соединениями (dry-break quick disconnects), подающими деионизированную водно-гликолевую смесь непосредственно на микроканальные медные теплосъемники GPU Rubin и сопутствующих процессоров Grace/Vera. Циркуляция теплоносителя управляется встроенными распределительными блоками охлаждения (CDU) с дублированными насосными группами с регулируемой частотой вращения, поддерживающими динамический перепад давления в зависимости от текущего тепловыделения полупроводниковых кристаллов.

Ключевым термодинамическим преимуществом архитектуры является поддержка высокотемпературных режимов теплоносителя в соответствии со стандартами ASHRAE W3 и W4. Температура теплоносителя на входе в вычислительные узлы поддерживается в диапазоне от 32°C до 45°C, а температура на выходе достигает 55°C–60°C. Такой температурный градиент устраняет необходимость в компрессорных чиллерах: сброс тепла осуществляется напрямую через внешние адиабатические сухие охладители (dry coolers) даже при экстремальных климатических температурах окружающего воздуха до +40°C. Данное решение обеспечивает показатель эффективности использования энергии (PUE) вторичного контура ниже 1.05 и сводит потребление технологической воды практически к нулю за счет работы в замкнутом цикле без испарительных градирен.

• Теплосъем Direct-to-Chip с применением микроканальных пластин и распределительных коллекторов из нержавеющей стали

• Соответствие температурным спецификациям ASHRAE W3/W4 (вход теплоносителя: 32°C–45°C, дельта температур: 15°C–18°C)

• Полный отказ от парокомпрессионных чиллеров с переходом на сухие адиабатические градирни с PUE контура охлаждения < 1.05

Топологии распределения электропитания: шинопроводы 380V HVDC и буферизация скачков нагрузки

Электроснабжение мегаваттного модуля реализовано по схеме с двойным независимым вводом трехфазного переменного тока 415V/480V AC. Входные фидеры подключены к централизованным полкам высокоэффективного выпрямления на базе карбидокремниевых (SiC) полупроводников с КПД преобразования свыше 97.5%. Вместо традиционной ступенчатой схемы распределения переменного тока низкого напряжения DSX Pod использует распределение постоянного тока высокой плотности по шинопроводам 380V HVDC с последующим локальным понижением до 48V непосредственно на объединительных платах стоек NVL72. Данный переход устраняет промежуточные этапы двойного преобразования энергии, сокращает резистивные омические потери в медных проводниках более чем на 65% и кардинально уменьшает сечение и массу кабельных трасс внутри контейнера.

Одной из критических проблем инженерии дата-центров для frontier-моделей ИИ является взрывная динамика энергопотребления тензорных ядер. Переход графических процессоров из режима ожидания в режим выполнения матричного умножения FP4/FP8 вызывает мгновенный бросок мощности (step load) от 0% до 100% за доли миллисекунды, создавая колоссальные возмущения delta-P в питающей сети. Для купирования этих переходных процессов и защиты питающих трансформаторов площадки от бросков тока в DSX Pod интегрирована гибридная система демпфирования: ультрабыстрые суперконденсаторные модули локального базирования берут на себя фронт переходного процесса в течение первых 10–50 миллисекунд, после чего подключаются компактные LiFePO4 накопители энергии (BESS), сглаживая профиль нагрузки для внешней энергосистемы.

• Централизованная выпрямительная архитектура на базе SiC-полупроводников с формированием шины 380V HVDC

• Снижение омических потерь в распределительных проводниках более чем на 65% по сравнению с низковольтными линиями переменного тока

• Интеграция суперконденсаторных сборок и BESS для динамического сглаживания переходных скачков мощности (delta-P transient buffering)

Суверенные анклавы и протоколы OpenShell для пограничной инфраструктуры

Ужесточение глобальных регуляторных требований к суверенитету данных и защите критических моделей ИИ стимулирует спрос на локализованную, физически изолированную вычислительную инфраструктуру. DSX Pod выступает эталонной платформой для создания защищенных суверенных анклавов, развертываемых непосредственно на промышленных площадках заказчика, территориях режимных предприятий или ведомственных распределительных подстанциях без необходимости передачи данных сторонним гиперскейлерам. Конструктив контейнера обладает встроенной баллистической и электромагнитной защитой (экранирование по стандартам TEMPEST/EMI), а также многоуровневыми аппаратными датчиками несанкционированного вскрытия и немедленного стирания криптографических ключей при попытке физического взлома периметра.

Логический периметр безопасности базируется на интеграции эталонной архитектуры OpenShell и неизменяемого аппаратного корня доверия (Hardware Root of Trust, RoT). Каждый вычислительный лоток, сетевой коммутатор и контроллер CDU аутентифицируются криптографически до подачи силового питания на тензорные процессоры. Все межузловые оптические соединения внутри и за пределами контейнера аппаратно шифруются по протоколам MACsec на линейной скорости 800G/1.6T. Изоляция рабочих нагрузок обеспечивается на микроархитектурном уровне через доверенные среды исполнения (TEE), исключая компрометацию весов моделей или конфиденциальных обучающих выборок даже в условиях физического доступа обслуживающего персонала к внешним портам контейнера.

• Соответствие требованиям стандартов суверенного хранения данных и изоляции периметра обработки критических моделей ИИ

• Аппаратный корень доверия (RoT) и непрерывная криптографическая аттестация компонентов вычислительной фабрики на базе OpenShell

• Аппаратное шифрование межсерверных оптических каналов на полной скорости интерфейсов с нулевой задержкой

Управление жизненным циклом: бесшовное обновление и кластеризация гигаваттного масштаба

С экономической точки зрения развертывание DSX Pod радикально меняет модель возврата инвестиций (ROI) и чистую приведенную стоимость (NPV) инфраструктурных проектов. Сокращение времени выхода на полную вычислительную мощность (time-to-compute) на 5.5 месяцев для кластера из 15 000+ графических процессоров позволяет владельцам инфраструктуры генерировать дополнительную выручку от инференса и аренды вычислительных мощностей задолго до того, как традиционный капитальный дата-центр завершит стадию общестроительных работ. Это временное опережение полностью нивелирует капитальную премию за модульное контейнерное исполнение, обеспечивая превосходство в финансовой ликвидности на ранних этапах жизненного цикла проекта.

Масштабирование вычислительных мощностей до гигаваттного класса осуществляется путем модульной рядовой компоновки блоков DSX Pod с подключением к стандартизированным заглубленным эстакадам, несущим шины энергоснабжения, контуры оборотной воды и транзитные оптические коллекторы. Жизненный цикл архитектуры построен по принципу блочной замены оборудования (forklift upgrade): по мере морального устаревания поколения чипов весь контейнерный модуль целиком выводится из эксплуатации и заменяется платформой следующего поколения за считанные часы без остановки функционирования соседних модулей в кластере. Данный подход устраняет фазу пыльной реконструкции машинных залов и гарантирует непрерывную утилизацию выделенной электрической мощности площадки.

• Увеличение NPV проекта за счет ускоренного ввода вычислительных мощностей в коммерческую эксплуатацию на 5.5 месяцев

• Линейное горизонтальное масштабирование фабрик ИИ через стандартизированную коридорную обвязку инженерных сетей

• Полное исключение простоев смежной инфраструктуры при плановой замене модулей по технологии forklift-upgrade