Câblage d’un cluster IA : quantités, distances, supports, contrôle qualité

Un cluster GPU, ce sont surtout des câbles. Huit GPU dans un nœud, ce sont huit liaisons de scale-out en 400G (ou 800G), plus la gestion et le stockage ; un millier de GPU, ce sont des milliers d’extrémités optiques réparties sur deux ou trois niveaux de commutateurs, chacune une cause d’arrêt d’entraînement potentielle. Cette page traduit les conceptions de fabric de fabrics GPU en nombre de câbles, classes de portée, choix de connecteurs et liste de contrôle d’installation.

Compter les liaisons

Pour un nœud type à 8 GPU avec une NIC 400G par GPU, fabric à deux niveaux optimisée par rail :

Élément	Formule	1 024 GPU (128 nœuds)
Liaisons GPU-vers-leaf	GPU × 1	1 024 × 400G
Liaisons leaf-vers-spine (non bloquant)	= GPU-vers-leaf	1 024 × 400G
Extrémités optiques/câble (deux par liaison)	liaisons × 2	4 096
NIC de stockage + gestion	2–4 par nœud	256–512 liaisons de plus
Optiques de rechange (3–5 %)	—	150–250

Avec des modules de commutateur NDR à double port (2 × 400G par OSFP), le nombre côté commutateur est divisé par deux en modules, mais pas en fibres. Les conceptions à trois niveaux ajoutent 1 024 liaisons spine-vers-core de plus par tranche de 1 024 GPU. Chacune de ces extrémités est un transceiver ou une fiche de câble avec une identité et un DDM (Fiabilité et surveillance des liaisons).

Distances dans une disposition optimisée par rail

Segment	Distance typique	Support
NIC GPU → leaf, même baie	≤ 2 m	DAC passif (400G ≤ 2 m ; 800G ≤ 1–1,5 m) — le moins cher, zéro consommation, lourd
NIC GPU → leaf, baies adjacentes (les groupes de rail s’étendent sur une rangée)	3–10 m	AEC (≤ 3–5 m) ou AOC / transceivers SR sur MMF
Leaf → spine, même salle	10–100 m	AOC jusqu’à ~50–100 m ; SR4/SR8 / VR sur OM4 ≤ 50–100 m ; DR4/DR8 sur SMF 500 m — le DR s’impose en 400G+
Spine → core / entre salles	100 m – 2 km	DR4 / FR4 / 2×FR4 monomode
DCI inter-bâtiments	2–80 km	LR4, ZR/ZR+ (Cohérent longue distance)

Le câblage optimisé par rail place le GPU i de chaque nœud sur le leaf i, si bien que les huit câbles d’un nœud se répartissent vers huit leaves différents — la plupart des liaisons GPU-vers-leaf sortent de la baie, et la part de DAC est plus faible que dans les conceptions ToR classiques. Détails : À l’intérieur des câbles.

Choix de connecteurs et de fibre

Optique	Connecteur	Fibre	Remarques
400G DR4 / 800G DR8	MPO-12 APC / MPO-16 APC (ou 2 × MPO-12)	SMF, Base-8/Base-16	APC partout sur le parallèle monomode ; modules à broches, jarretières sans broches
400G/800G SR8 / VR8	MPO-16 UPC	OM4/OM5	50–100 m ; optiques moins chères, fibre plus coûteuse au mètre
400G FR4 / 2×FR4	LC duplex / 2 × LC	SMF	moins de fibres, WDM à l’intérieur du module
OSFP NDR à double port	2 × MPO-12 APC	SMF	deux ports logiques par module ; câbles de répartition 1:2 / 1:4 (Câblage IB)
DAC / AEC	aucun	twinax	identité aux deux extrémités

Méthode de polarité B de bout en bout pour les artères MPO ; artères Base-8 pour les optiques à 4 voies (Éclatement (breakout) et câblage MPO).

Puissance et chaleur des optiques seules

Optique	Puissance	Par commutateur 64 ports
400G DR4 QSFP-DD	8–12 W	0,5–0,8 kW
800G DR8 / 2×FR4 OSFP	14–18 W	0,9–1,2 kW
Extrémité AOC 400G	3–5 W	—
Extrémité AEC 800G	4–6 W	—
DAC	0	—

Les façades des commutateurs ont donc besoin d’un flux d’air avant-arrière sans obstruction ; OSFP à ailettes dans les commutateurs, à sommet plat dans les NIC ; les faisceaux de câbles ne doivent pas bloquer l’admission d’air (Puissance et thermique, Température et tension). Les optiques linéaires (LPO) réduisent la puissance du module d’environ moitié là où l’hôte les prend en charge (Modulation et DSP).

Liste de contrôle d’installation et QA

Contrôle à réception de chaque optique et extrémité de câble : identité, sommes de contrôle, DDM vivant, référence enregistrée (Fabrication et essais).
Rodage des optiques neuves pendant 24–72 h à température de fonctionnement avant déploiement.
Inspectez et nettoyez chaque MPO (embouts de microscope APC pour l’APC) lors de l’installation ; n’accouplez jamais un connecteur non inspecté.
Étiquetez les deux extrémités : nœud/GPU/NIC ↔ leaf/port ; câbles de répartition par branche.
Rayon de courbure et gestion du poids — chemins de câbles et faisceaux pour les DAC/AEC, boucles de service pour la fibre.
Vérification à la mise en service : chaque liaison à pleine vitesse et pleine largeur, FEC actif, Rx par voie à moins de 2 dB de ses voisines, TEB pré-FEC < 10⁻⁷ au repos (VDM et métriques FEC).
Enregistrez le DDM par voie et les identités dans le fabric manager / la CMDB comme référence.
Pièces de rechange par classe de support et par connecteur ; gardez-les rodées.

Défauts d’installation courants

Défaut	Signature
Jarretière UPC sur DR4 APC	toutes les voies basses de 3–10 dB, aux deux extrémités
Artère de mauvaise polarité	toutes les voies éteintes
MPO sale	une ou deux voies basses ; TEB pré-FEC élevé sur ces voies
DAC trop long pour l’hôte	liaison à vitesse réduite ou instable
Branches de câble de répartition inversées	les ports établissent une liaison avec les mauvais pairs ; incohérence de topologie dans le fabric manager
OSFP à ailettes dans une cage à sommet plat (ou l’inverse)	ne s’enfiche pas correctement / surchauffe

Dans CodingBox

À cette échelle, le contrôle à réception est un flux de travail, pas un sondage ponctuel : CodingBox lit chaque module ou extrémité de câble, vérifie l’identité et les sommes de contrôle, enregistre le DDM par voie en direct comme référence et le stocke en regard du numéro de série dans la code database, pour qu’un module ultérieurement retiré d’un port instable puisse être comparé à son état du premier jour.

Si vous trouvez une inexactitude ou une erreur dans cet article, sélectionnez le passage concerné et appuyez sur Ctrl+Enter pour .