Архитектура Co-Packaged Optics (CPO) 3.2T и коммутационные фабрики 102.4 Тбит/с: системный анализ надежности ELSFP, термодинамики и энергоэффективности pJ/bit

Тепловой и энергетический барьер SerDes и сменных трансиверов на 102.4 Тбит/с

Масштабирование распределенных фабрик инференса и обучения frontier-моделей ИИ требует объединения десятков тысяч ускорителей в неблокируемые топологии с ультранизкой задержкой. При переходе сетевых ASIC с пропускной способности 51.2 Тбит/с к 102.4 Тбит/с (например, чипы классов Tomahawk 6 или Spectrum-X следующего поколения) традиционная концепция съемных оптических модулей (pluggable transceivers) форм-факторов QSFP-DD и OSFP упирается в фундаментальный физический барьер высокочастотных потерь в печатных платах. На скорости 106 Гбит/с и 212 Гбит/с PAM4 на несущую частоту Найквиста (53 ГГц) длина проводящей дорожки на органической плате типа Megtron 7/8 или Nanowave, превышающая 10–14 дюймов (250–350 мм), формирует затухание канала передачи более 28–32 дБ. Чтобы компенсировать потери в канале, SerDes хост-процессора и встроенные в трансиверы DSP-ретаймеры вынуждены работать на пределе своих аналоговых трактов эквалайзинга (CTLE/DFE), что генерирует колоссальные энергозатраты.

Энергетическая метрика традиционных оптических модулей с встроенными 5-нм и 3-нм DSP составляет от 18 до 22 пДж/бит. При суммарной емкости шасси 102.4 Тбит/с оптическая подсистема рассеивает от 3500 до 4500 Вт исключительно на портах передней панели, доводя суммарную мощность 1RU/2RU коммутатора до неприемлемых 5.5–6.5 кВт. Воздушное охлаждение с плотностью теплового потока более 30 Вт на посадочное место QSFP-DD/OSFP становится термодинамически невозможным из-за аэродинамического сопротивления радиаторов и ограниченного объема прокачиваемого воздуха. Сформировавшийся «тепловой барьер» (Thermal Wall) делает безальтернативным физическое сближение кремниевого коммутационного ядра и электрооптических преобразователей.

• Ограничение затухания канала SerDes-to-Optics: не более 8–10 дБ при исключении протяженных медных дорожек PCB

• Бюджет энергопотребления оптического тракта: снижение совокупных затрат на приемопередачу ниже 1000 Вт на шасси 102.4 Тбит/с

• Контроль температуры на передней панели: ликвидация зон рассеяния тепла высокой плотности (>30 Вт на модуль)

Архитектура оптических движков кремниевой фотоники CPO (<7 пДж/бит против 20 пДж/бит)

Концепция Co-Packaged Optics (CPO) решает проблему затухания высокочастотного сигнала путем интеграции оптических трансиверных движков (Optical Engines, OE) непосредственно на общую органическую подложку Multi-Chip Module (MCM) или кремниевый интерпозер бок о бок с центральным сетевым ASIC. Сокращение физической длины электрической линии с 300 мм до 15–25 мм снижает вносимые потери до уровня менее 3–5 дБ на частоте 53 ГГц. Это позволяет устранить энергоемкие цифровые сигнальные процессоры (DSP Retimer) внутри оптического тракта и реализовать прямое линейное управление (Linear Direct-Drive).

Отказ от ретаймеров и использование кремниевых фотонных интегральных схем (SiPh PIC) с интеграцией микрокольцевых резонаторов (MRM) или миниатюрных модуляторов Маха-Цендера (MZM) снижает энергопотребление интерконнекта с ~20 пДж/бит до менее чем 5–7 пДж/бит, обеспечивая суммарную экономию электроэнергии более 65–75%. Гетерогенная 2.5D/3D упаковка объединяет сверхнизкопотерьные полимерные волноводы, субмикронные кремниевые волноводы и 2D-массивы волоконных шлейфов (fiber pigtails), оканчивающиеся прецизионными разъемами MPO-16, MPO-24 или blind-mate коннекторами класса MXC с прямым выходом на оптическую панель коммутатора.

• Энергетическая эффективность интерконнекта: строго менее 7 пДж/бит на один переданный бит данных

• Длина электрического интерфейса ASIC-to-PIC: диапазон 15–25 мм с межсоединениями типа micro-bump с шагом 55–100 мкм

• Пропускная способность оптического движка: 3.2 Тбит/с на модуль с поддержкой 16 каналов по 200 Гбит/с PAM4

Удаленная лазерная архитектура ELSFP: надежность фосфида индия (InP) и горячая замена

Непрерывные лазерные диоды непрерывного излучения (CW DFB) на базе гетероструктур фосфида индия (InP) демонстрируют экстремальную температурную деградацию. При подъеме температуры лазерного перехода выше 55–65°C пороговый ток диода возрастает экспоненциально, внешняя дифференциальная квантовая эффективность падает, а среднее время наработки на отказ (MTBF) сокращается более чем на порядок в соответствии с законом Аррениуса. На кристалле коммутатора 102.4 Тбит/с температура перехода кремния ASIC стабильно достигает 85–105°C под пиковой вычислительной нагрузкой. Монтаж полупроводниковых лазеров непосредственно на MCM-подложку ASIC привел бы к катастрофической статистике отказов всей коммутационной матрицы.

Архитектурным стандартом для изоляции тепловых сред стало соглашение OIF ELSFP (External Laser Small Form-Factor Pluggable). Мощные лазерные источники непрерывного излучения (CW Laser) выносятся в съемные картриджи ELSFP, расположенные на холодной передней панели шасси либо на выделенных внешних полках питания (Remote Laser Shelves). Каждый модуль ELSFP генерирует оптическую мощность 20–24 дБм и передает излучение по массиву волокон с сохранением поляризации (PMF, Polarization-Maintaining Fiber) к модуляторам оптического движка на подложке ASIC. В случае деградации лазерной сборки модуль ELSFP заменяется в горячем режиме за секунды техническим персоналом без прерывания трафика через матрицу коммутатора и без демонтажа сложнейшего MCM-чипа.

• Максимальная температура перехода лазерного диода InP: поддержание ниже 50°C посредством локальных элементов Пельтье (TEC) в модуле ELSFP

• Выходная оптическая мощность ELSFP: 20–24 дБм для компенсации потерь деления на 4 или 8 каналов модуляции

• Механизм безопасности: автоматическое защитное отключение лазера (ALS) класса 1M при физическом размыкании коннектора

Менеджмент оптических волокон сверхвысокой плотности, бюджет потерь (APC MPO) и чистота тракта

Коммутатор CPO конфигурации 102.4 Тбит/с с интерфейсами 800G/1.6T требует вывода из герметичной зоны шасси от 512 до 1024 одномодовых оптических волокон. Механическая укладка подобного массива внутри компактного корпуса требует прецизионных кабельных органайзеров с контролем радиуса изгиба и применения волокон стандарта ITU-T G.657.B3 с уменьшенным радиусом нечувствительности к изгибам до 5 мм. Внутриплатные оптические шлейфы терминируются прецизионными MT-феррулами и выводятся на слепые оптические соединители задней или промежуточной панели (blind-mate optical backplane connectors).

Оптический бюджет потерь для сетей ИИ на скоростях 200 Гбит/с на длину волны предельно ограничен: типовой бюджет составляет всего 6.5–8.5 дБ в окне 1310 нм (CWDM4 / DR4). С учетом потерь на элементах связи с чипом кремниевой фотоники (edge couplers или diffraction grating couplers вносят от 0.8 до 1.5 дБ на фасетку), сплиттерах ELSFP и коммутационных панелях кабельной инфраструктуры, допуск на каждое разъемное соединение сокращается до <0.25 дБ. Допускается использование исключительно косых торцевых полировок с углом 8 градусов (APC, Angled Physical Contact) для обеспечения возвратных потерь (Return Loss) более 50 дБ во избежание паразитных интерференционных шумов в высококогерентных трактах кремниевых модуляторов.

• Вносимые потери оптического разъема (MPO-16/24 APC): среднее значение ≤0.20 дБ, максимум ≤0.35 дБ

• Контроль чистоты торцов волокон: инспекция по стандарту IEC 61300-3-35 перед монтажом слепых соединителей

• Предотвращение механического натяжения: динамический радиус изгиба волоконной сборки G.657.B3 не менее 7.5 мм во всех зонах трассировки

Теплоотвод и ко-дизайн двухзонных жидкостных холодных плит для подложки CPO

Интеграция вычислительного кристалла с экстремальным тепловыделением (ASIC коммутатора с TDP 800–1200 Вт) и оптических интегральных схем (16 оптических движков по 15–30 Вт каждый) на единую органическую подложку формирует беспрецедентный градиент температур. Плотность теплового потока в ядре ASIC превышает 100–150 Вт/см², в то время как оптические движки требуют жесткой термостабилизации: кремниевые кольцевые модуляторы смещают рабочую длину волны на ~0.1 нм/°C, что приводит к полной десинхронизации оптического резонанса при температурном дрейфе.

Для решения этой задачи RICEWIND рекомендует применение ко-дизайна специализированных двухзонных жидкостных охлаждающих пластин (Dual-Zone Cold Plates) на базе смеси воды с полипропиленгликолем (PG25) или диэлектрических теплоносителей с двухфазным кипением. Архитектура микроканалов разделена на две изолированные гидродинамические петли: центральная зона с микроигольчатыми радиаторами охлаждает ASIC с допускаемой рабочей температурой кристалла до 85°C, а периферийная зона с ламинарным потоком теплоносителя удерживает температуру кремниевых оптических модулей строго ниже 60°C при суммарном перепаде температур между соседними чиплетами не более 5°C.

• Плотность рассеиваемой мощности холодной плиты: компенсация локальных тепловых потоков до 150 Вт/см²

• Термический градиент оптической зоны: поддержание температуры оптических чиплетов SiPh в окне 50°C–60°C

• Интерфейсный термоматериал (TIM): применение металлического термоинтерфейса (Indium foil / Liquid metal) с проводимостью >60 Вт/(м·К) для ASIC и фазопереходных паст без сдвигового напряжения для оптических модулей

Экономика TCO суперкластеров AI, дорожная карта миграции и автоматизированный ввод в эксплуатацию

Внедрение CPO меняет экономику жизненного цикла сетевой инфраструктуры центров обработки данных. Хотя первоначальные капитальные затраты (CapEx) на коммутационный узел CPO на 15–20% выше решений со сменными трансиверами из-за сложной гибридной сборки и технологического выхода годных MCM, совокупная стоимость владения (TCO) в горизонте трех лет оказывается ниже на 25–35%. Экономия сотен киловатт электроэнергии на стойку оборудования высвобождает лимитированную мощность дата-центра (Stranded Power) непосредственно для установки дополнительных стоек с вычислительными GPU-серверами, существенно снижая общий показатель PUE объекта.

Дорожная карта миграции индустрии предусматривает сосуществование Linear Pluggable Optics (LPO) на скоростях 800G и 1.6T для spine-leaf уровней общего назначения с неизбежным переходом на CPO на уровне 3.2T на порт и суммарной емкости фабрик 102.4 Тбит/с и 204.8 Тбит/с. Ввод в эксплуатацию таких систем требует автоматизированных протоколов: обязательной встроенной оптической рефлектометрии во временной области (Embedded OTDR) для верификации целостности кабельной трассы без расстыковки разъемов и постоянного аппаратного мониторинга коэффициента битовых ошибок (Pre-FEC BER) с порогом триггера не хуже 1e-4 для гарантирования работы алгоритмов прямого исправления ошибок (KP4 FEC).

• Целевой уровень ошибок канала: Pre-FEC BER строго ниже 1e-4 при работе алгоритмов Reed-Solomon RS(544,514) FEC

• Встроенная диагностика: интегрированный программно-аппаратный OTDR-мониторинг для локализации обрывов и деградаций разъемов с точностью до 10 см

• Протокол ввода в строй: автоматическая юстировка поляризации лазерного тракта ELSFP и динамический контроль энергопотребления каждого оптического порта