Vue rapprochée d'une carte mère de commutateur réseau CPO 102.4Tbps montrant l'ASIC central entouré de moteurs optiques 3.2T, de rubans de fibres optiques et de plaques froides à refroidissement liquide.

RICEWIND / Perspectives de l'industrie

Architecture Co-Packaged Optics (CPO) 102.4Tbps et Moteurs Optiques 3.2T : Dépasser le Mur Énergétique des Superclusters d'IA

L'expansion horizontale des clusters de calcul pour modèles d'IA générative atteint les limites physiques fondamentales imposées par les émetteurs-récepteurs optiques enfichables traditionnels. À un débit d'agrégation de 102.4Tbps par commutateur réseau, l'atténuation diélectrique des liaisons électriques SerDes sur substrats PCB haute performance dépasse 30 dB, tandis que l'enveloppe thermique des modules frontaux menace la stabilité opérationnelle globale. L'architecture Co-Packaged Optics (CPO) apporte une rupture déterminante en intégrant des moteurs optiques silicium 3.2T directement sur le substrat multi-puces (MCM) aux côtés de l'ASIC de commutation haute densité. En éliminant les puces DSP de retiming via une commande directe linéaire, la consommation par bit chute de 20 pJ/bit à moins de 7 pJ/bit. Pour garantir une haute disponibilité, les diodes laser en Phosphure d'Indium (InP) sont déportées dans des modules enfichables ELSFP en façade froide, isolant les sources optiques de la dissipation thermique de l'ASIC. Ce rapport d'ingénierie rédigé par RICEWIND détaille l'interconnexion photonique, les bilans de pertes optiques, le conditionnement des rubans de fibres et la co-conception de plaques froides de refroidissement liquide diphasique.

PubliéAuteur: RICEWIND Infrastructure Research Institute

Le mur thermique des optiques enfichables et l'atténuation SerDes à 102.4Tbps

L'entraînement de modèles de fondation comptant plusieurs milliers de milliards de paramètres impose un réseau d'interconnexion horizontal sans blocage reliant des dizaines de milliers d'accélérateurs GPU. Au sein des commutateurs réseau de nouvelle génération atteignant des capacités d'agrégation de 51.2Tbps puis 102.4Tbps, l'architecture d'E/S traditionnelle reposant sur des émetteurs-récepteurs enfichables en face avant (OSFP, QSFP-DD 800G et 1.6T) se heurte à des verrous physiques insurmontables. L'acheminement des signaux électriques 106 Gbps et 212 Gbps PAM4 depuis l'ASIC de commutation jusqu'aux cages de façade nécessite de traverser entre 250 mm et 350 mm de pistes cuivre sur des laminés haute performance comme le Megtron 7 ou 8. À des fréquences de Nyquist de 26.5 GHz et 53 GHz, l'atténuation d'insertion du canal (insertion loss) excède 28 à 32 dB, exigeant des blocs SerDes ASIC complexes et des DSP de retiming intégrés aux transceivers pour compenser les distorsions et les réflexions inter-symboles.

Cette compensation active dégrade radicalement l'efficacité énergétique du système. Les modules optiques enfichables avec DSP embarqué consomment entre 18 et 22 pJ/bit, ce qui représente pour un commutateur 102.4Tbps une puissance dissipée de 1 800 W à 2 200 W uniquement allouée aux interfaces optiques, portant la consommation totale du châssis au-delà de 4 500 W. Une telle concentration génère une densité thermique insoutenable sur la face avant (bezel) du châssis 1U/2U, où le flux d'air forcé conventionnel ne parvient plus à maintenir les jonctions des modules sous le seuil critique de 70°C. Les contraintes d'espace physique limitent également le nombre de réceptacles enfichables montables en façade, imposant une transition vers des topologies d'interconnexion photonique plus proches du cœur silicium.

  • Atténuation maximale admissible du canal électrique SerDes hôte : < 28 dB à 53 GHz (212 Gbps PAM4).

  • Plafond de consommation énergétique pour les émetteurs-récepteurs enfichables : 18 à 22 pJ/bit.

  • Consommation totale tolérée pour le sous-système d'E/S optique du châssis : < 2 200 W à 102.4Tbps.

Architecture photonique sur silicium CPO et moteurs optiques 3.2T (<7 pJ/bit)

L'approche Co-Packaged Optics (CPO) surmonte le mur énergétique en relocalisant les moteurs optiques silicium (SiPh) directement sur le même substrat multi-puces (MCM) organique ou sur un interposeur silicium 2.5D, à proximité immédiate de l'ASIC de commutation haute densité (comme les architectures 102.4Tbps de type Broadcom Tomahawk ou NVIDIA Spectrum-X). En réduisant la longueur des pistes électriques d'interconnexion à moins de 15 à 25 mm, l'affaiblissement d'insertion chute sous les 3 à 5 dB. Cette rupture permet d'adopter une commande directe linéaire (Linear Direct-Drive) sans recourir aux DSP de retiming et égaliseurs complexes au niveau du moteur optique, faisant dégringoler la dépense énergétique par bit de 20 pJ/bit à moins de 5 à 7 pJ/bit, soit une diminution de 65% à 75% de l'empreinte électrique des liaisons photoniques.

Les moteurs optiques 3.2T co-encapsulés intègrent sur une même matrice des modulateurs silicium de type Mach-Zehnder (MZM) ou à micro-anneaux résonants (MRM), associés à des récepteurs à photodiodes Germanium à haute responsivité. L'interface optique exploite des guides d'ondes diélectriques submicroniques couplés à des réseaux de fibres optiques 2D (optical pigtails). L'interposeur gère le routage à haute densité des signaux différentiels à large bande passante entre l'ASIC et les pilotes RF des modulateurs, assurant une intégrité de signal supérieure avec une gigue résiduelle ultra-faible. La conception modulaire préconisée par RICEWIND intègre seize moteurs optiques 3.2T autour de l'ASIC pour saturer la bande passante globale de 102.4Tbps tout en minimisant la surface de silicium mobilisée.

  • Longueur maximale des pistes électriques interposeur-moteur : < 20 mm.

  • Efficacité énergétique cible du moteur optique 3.2T CPO : < 7.0 pJ/bit (visée nominale : 5.5 pJ/bit).

  • Pertes d'insertion de couplage guide d'ondes / fibre optique : < 1.2 dB par facette à 1310 nm.

Architecture laser déporté ELSFP et fiabilité du Phosphure d'Indium (InP)

L'intégration monolithique de sources laser au sein du boîtier CPO représente un point de défaillance critique en raison de la physique thermique des semi-conducteurs III-V. Les diodes laser à onde continue (CW DFB) basées sur le Phosphure d'Indium (InP) voient leur courant de seuil augmenter de manière exponentielle et leur rendement de conversion électro-optique s'effondrer dès lors que la température de jonction dépasse 55°C à 65°C. Les mécanismes de dégradation thermique accélérée réduisent drastiquement le temps moyen entre pannes (MTBF) des diodes. Or, au cœur du MCM d'un commutateur 102.4Tbps, la température de jonction de l'ASIC atteint couramment 85°C à 105°C, un environnement totalement incompatible avec la fiabilité industrielle des composants laser InP.

Pour résoudre ce dilemme, le consortium OIF a standardisé l'architecture ELSFP (External Laser Small Form-Factor Pluggable). Les sources laser CW sont déportées de l'ASIC et conditionnées dans des modules enfichables situés sur la face avant froide du châssis ou au sein d'étagères optiques dédiées. Chaque module ELSFP délivre une puissance optique continue élevée (de 20 à 24 dBm) distribuée via des fibres à maintien de polarisation (PMF) vers les modulateurs silicium sur le MCM. Cette séparation spatiale garantit le maintien des diodes InP en dessous de 50°C par refroidissement conventionnel. En cas de dérive de puissance ou de défaillance d'un laser, le module ELSFP peut être remplacé à chaud en quelques secondes sans interrompre le trafic des canaux sains ni solliciter l'intégrité mécanique du substrat CPO.

  • Température de jonction de fonctionnement des diodes laser InP : ≤ 55°C.

  • Puissance optique émise par canal ELSFP CW : +20 dBm à +24 dBm.

  • Taux d'extinction de polarisation (PER) sur liaisons PMF : ≥ 20 dB à l'entrée du modulateur.

Gestion haute densité de la fibre, bilans de liaison optique et connectique APC

L'implémentation d'une matrice de commutation 102.4Tbps en technologie CPO implique la gestion d'un volume sans précédent de liaisons optiques : entre 512 et 1 024 brins de fibre doivent émerger du module multi-puces vers l'infrastructure de brassage. Ce défi mécanique requiert l'intégration de rubans de fibres insensibles aux courbures conformes à la norme ITU-T G.657.B3, guidés par des chemins de câbles internes à rayon de courbure contrôlé évitant toute contrainte mécanique sur les facettes de couplage SiPh. Les rubans aboutissent à des connecteurs internes aveugles (blind-mate) à haute densité basés sur des férules MT multi-fibres (MPO-16, MPO-24 ou connecteurs MXC) installés sur le panneau arrière ou en face avant.

Le bilan optique global (optical power budget) des liaisons intra-cluster à 102.4Tbps est extrêmement contraint, s'établissant entre 6.5 dB et 8.5 dB à 1310 nm (normes CWDM4 et DR4). Ce budget doit absorber les pertes des répartiteurs optiques ELSFP, les pertes d'insertion des connecteurs PMF, l'atténuation aux coupleurs à réseaux ou coupleurs de tranche silicium (0.8 à 1.5 dB par facette), ainsi que les traversées de cloisons. L'usage exclusif de polissages avec contact physique incliné (Angled Physical Contact - APC à 8 degrés) est obligatoire pour garantir une perte de retour optique (Optical Return Loss - ORL) supérieure à 50 dB, neutralisant ainsi les réflexions parasites susceptibles de déstabiliser les lasers d'excitation ou d'induire du bruit de phase sur les signaux PAM4.

  • Bilan d'atténuation de canal optique total de bout en bout : ≤ 7.5 dB à 1310 nm.

  • Pertes d'insertion par connecteur MPO APC de haute précision : ≤ 0.35 dB.

  • Affaiblissement de réflexion optique (ORL) minimal aux interfaces : > 50 dB.

Dissipation thermique et co-conception de plaques froides diphasiques

Le packaging hétérogène des systèmes CPO introduit une disparité thermique sévère : un ASIC de commutation 102.4Tbps dissipe entre 800 W et 1 200 W sur une matrice centrale compacte, générant des flux thermiques locaux dépassant 100 à 150 W/cm², tandis que les seize moteurs optiques périphériques dissipent chacun de 15 W à 30 W mais doivent impérativement demeurer sous 60°C pour préserver l'alignement des guides d'ondes et la stabilité des photodétecteurs. Le refroidissement par air devient totalement inopérant pour résoudre ce différentiel thermique sans créer de contraintes thermomécaniques excessives sur l'interposeur ou les billes de soudure BGA.

La solution d'ingénierie repose sur la co-conception de plaques froides liquides avancées (cold plates) exploitant soit des mélanges eau-glycol traités (PG25), soit des fluides diélectriques à changement de phase (refroidissement diphasique par pompage). Ces plaques froides intègrent des zones hydrauliques différenciées : un réseau central de micro-canaux à ailettes ultra-fines (micro-channel fin arrays) configuré pour évacuer les flux extrêmes de l'ASIC jusqu'à 85°C de température de boîtier, et des boucles périphériques dédiées assurant le maintien des moteurs optiques sous 58°C. L'emploi de matériaux d'interface thermique (TIM2) métalliques ou à transition de phase à très haute conductivité thermique (> 10 W/m·K) garantit une résistance thermique d'interface minimale et absorbe les tolérances de coplanarité du module MCM.

  • Maintien de la température opérationnelle des moteurs optiques : ≤ 58°C.

  • Résistance thermique de l'interface TIM2 : < 0.08 K·cm²/W.

  • Débit du fluide caloporteur liquide par châssis : > 2.5 L/min avec perte de charge ΔP < 35 kPa.

Économie TCO des superclusters d'IA, feuille de route et recette automatisée

Bien que l'intégration initiale de commutateurs CPO présente un surcoût de fabrication unitaire de 15% à 20% en raison des rendements d'assemblage optique et du packaging multi-puces, le coût total de possession (TCO) bascule massivement en faveur du CPO pour les clusters d'IA de plus de 16 000 GPU. La réduction de 65% de la puissance consommée sur les interconnexions se traduit par des centaines de kilowatts économisés par rangée de baies, allégeant les exigences d'infrastructure électrique et améliorant l'efficacité d'utilisation de l'énergie (PUE) des centres de données. Selon les modèles d'ingénierie de RICEWIND, cette puissance électrique libérée au niveau du poste source peut être directement réaffectée pour alimenter des nœuds de calcul GPU supplémentaires, augmentant le débit global d'entraînement du cluster.

La feuille de route migratoire s'articule autour d'une coexistence transitoire : les solutions Linear Pluggable Optics (LPO) occupent les commutateurs 51.2Tbps au niveau des couches d'accès 'Leaf', tandis que le CPO devient incontournable dès 102.4Tbps et s'imposera de manière exclusive à 204.8Tbps sur les cœurs de réseau 'Spine'. La phase de mise en service exige des protocoles stricts de recette automatisée intégrant des fonctionnalités d'OTDR (Optical Time-Domain Reflectometry) intégrées pour caractériser l'intégrité de chaque brin de fibre avant illumination. Des boucles de coupure automatique de sécurité laser (Automatic Laser Shutdown - ALS) sont couplées aux capteurs de détection de déconnexion pour prévenir les risques oculaires lors de la manipulation des interfaces optiques haute puissance.

  • Taux d'erreur binaire brut (pre-FEC BER) sur lien CPO opérationnel : < 1.0e-4 (marge de sécurité FEC KP4).

  • Temps de basculement de l'interverrouillage laser ALS sur rupture de fibre : < 100 ms.

  • Gain de TCO énergétique sur le réseau d'interconnexion sur 3 ans : > 35% par rapport aux optiques avec DSP.

Approvisionnement et support technique

Pour les fiches techniques, les topologies d'alimentation sur mesure ou les devis de gros, contactez les ingénieurs HEFENGQI.