Câblage IB par génération : DAC, AOC, transceivers, câbles split
Un cluster InfiniBand est câblé par classe de portée : cuivre là où le commutateur est à portée de bras, cuivre actif un peu plus loin, câbles optiques actifs jusqu’à la rangée suivante, transceivers avec fibre structurée pour le reste. Chaque génération a resserré ces limites et changé le connecteur, et NDR a ajouté des modules double port et des câbles fractionnés qui déroutent les installateurs novices. Cette page est la référence de câblage — portées, connecteurs, configurations de fractionnement, règles mécaniques et d’identité.
Connecteurs par génération
| Génération | Débit par voie | Port 4x | Connecteur | Remarques |
|---|---|---|---|---|
| SDR / DDR | 2,5 / 5 Gb/s | 10 / 20 Gb/s | CX4 (cuivre), puis QSFP | historique |
| QDR | 10 Gb/s | 40 Gb/s | QSFP | gestion SFF-8436 |
| FDR | 14,06 Gb/s | 56 Gb/s | QSFP+ (qualifié FDR) | 64B/66B ; FEC optionnel |
| EDR | 25,78 Gb/s | 100 Gb/s | QSFP28 | mêmes optiques que le 100G Ethernet, codage différent |
| HDR | 53,1 Gb/s PAM4 | 200 Gb/s | QSFP56 | fractionnement 1:2 vers HDR100 |
| NDR | 106 Gb/s PAM4 | 400 Gb/s | OSFP double port (2 × 400G par module) sur les commutateurs ; OSFP ou QSFP112 sur les HCA | 800G par cage de commutateur |
| XDR | 212 Gb/s PAM4 | 800 Gb/s | OSFP / OSFP-XD | 1.6T par cage de commutateur |
Détails des facteurs de forme : QSFP28, QSFP56, OSFP, QSFP112.
Classes de portée
| Support | QDR | FDR | EDR | HDR | NDR | Remarques |
|---|---|---|---|---|---|---|
| DAC passif | ≤ 7 m | ≤ 3–5 m | ≤ 3 m | ≤ 2 m | ≤ 1,5–2 m | la portée diminue à chaque génération ; calibre plus épais pour les longueurs plus importantes |
| Cuivre actif (ACC/AEC) | — | ≤ 5 m | ≤ 5 m | ≤ 3–4 m | ≤ 3 m | connecteurs alimentés ; AEC avec retimers pour NDR |
| AOC | ≤ 100 m (parfois 300) | ≤ 100 m | ≤ 100 m | ≤ 100 m | ≤ 30–50 m typique | VCSEL 850 nm, ruban MMF à l’intérieur |
| Transceiver classe SR (MMF) | ≤ 300 m | ≤ 100–150 m | ≤ 70–100 m | ≤ 70–100 m | ≤ 50 m (VR) / 100 m (SR) | OM3/OM4, MPO |
| Transceiver classe DR/FR (SMF) | — | — | 500 m – 2 km (PSM4, CWDM4) | 500 m – 2 km | 500 m (DR4) / 2 km (FR4) | MPO-12 APC (DR4), LC duplex (FR4) |
Ce qu’il y a à l’intérieur de chaque type de câble : Structure interne des câbles.
Câbles NDR double port et fractionnés
Une cage de commutateur NDR accueille un module OSFP double port = deux ports 400G indépendants derrière deux réceptacles MPO-12/APC (ou deux LC-duplex). Options de câblage à partir d’un module :
| Configuration | Câble | Extrémité distante |
|---|---|---|
| 2 × 400G direct | deux trunks MPO-12 APC | deux ports HCA NDR 400G (OSFP ou QSFP112) ou un autre commutateur |
| Fractionnement 1:2 (800G → 2 × 400G) | câble en Y, une extrémité OSFP, deux extrémités OSFP/QSFP112 | deux HCA — la connexion serveur standard |
| Fractionnement 1:4 (800G → 4 × 200G) | une extrémité OSFP, quatre extrémités QSFP56/QSFP112 | HCA à débit HDR (NDR200) |
| AOC double port | une extrémité OSFP double port, deux extrémités OSFP/QSFP112 | jusqu’à ~30–50 m |
| DAC double port | une extrémité OSFP, deux extrémités | ≤ 1,5–2 m ; lourd — en baie uniquement |
Chaque branche de fractionnement est une liaison distincte avec sa propre négociation ; le commutateur voit deux (ou quatre) ports. Le codage d’identité doit décrire l’ensemble de manière cohérente à chaque extrémité (Structure interne des câbles).
OSFP à ailettes ou plat
- OSFP à ailettes — dissipateur thermique intégré pour les cages de commutateur avec flux d’air ouvert au-dessus du module. Ne s’insère pas dans une cage plate.
- OSFP plat — pour les HCA et les cages avec un dissipateur thermique flottant. S’insère dans les deux types de cage, mais peut chauffer dans une cage de commutateur ouverte.
- QSFP112 sur les HCA partage l’interface électrique NDR à 4 × 106 Gb/s dans un encombrement QSFP ; un port HCA QSFP112 s’associe à un câble fractionné depuis un commutateur OSFP.
Conséquences thermiques : Alimentation et thermique.
Règles mécaniques
| Règle | Pourquoi |
|---|---|
| Respecter le rayon de courbure (DAC ≥ 10× le diamètre ; AOC/fibre ≥ 30 mm) | twinax écrasé → erreurs de voie ; fibre pliée → perte Rx |
| Soutenir le poids du câble — les DAC double port sont lourds | tire sur la cage, contact intermittent, cartes paddle fissurées |
| À broches/sans broches et APC sur chaque MPO | Éclatement et câblage MPO |
| Nettoyer et inspecter chaque MPO avant insertion | une particule coûte 1–3 dB à une voie |
| Garder les caches anti-poussière sur les cages et connecteurs inutilisés | la contamination est la première cause de pannes de voie |
| Acheminer à l’écart des sorties d’air chaud | les moteurs AOC et les connecteurs AEC vieillissent avec la température |
Identité et politique constructeur
Les commutateurs et HCA InfiniBand du constructeur dominant valident les câbles et transceivers par rapport à une liste supportée et lisent leurs informations de câble (constructeur, PN, SN, longueur, technologie) dans le fabric manager. Un câble non validé peut se lier à débit réduit ou être signalé ; un câble codé avec une longueur ou une classe de débit erronée peut échouer la négociation. Les octets d’identité sont les champs standards SFF-8636/CMIS plus les déclarations de débit InfiniBand (Codes de conformité, Verrouillage constructeur).
Pratique d’inventaire
- Étiquetez les deux extrémités avec la liaison (commutateur/port ↔ hôte/port) ; les câbles fractionnés ont besoin d’étiquettes par branche.
- Enregistrez le constructeur, le PN, le SN et la longueur de chaque câble dans le fabric manager ou la CMDB ; récupérez les données depuis
mlxcablesou depuis CodingBox à la réception. - Gardez des pièces de rechange par classe de portée et connecteur ; les variantes NDR double port et fractionnées ne sont pas interchangeables avec du 400G simple.
- Effectuez un rodage des nouvelles optiques avant déploiement (Fiabilité et surveillance des liaisons).
Dans CodingBox
Les extrémités de câble et les transceivers se lisent comme n’importe quel module : identité avec longueur de câble, technologie et classe de débit, DDM par voie pour AOC et optiques, état CMIS pour les modules NDR (Check transceiver, DDM). Lire chaque branche d’un câble fractionné avant l’installation permet de détecter l’extrémité mal assortie qui, sinon, se lierait à la mauvaise vitesse.
Les modules de génération XDR en détail : OSFP224 et OSFP-XD.
Comment les HCA et les pilotes NIC valident ces câbles, et les outils qui montrent le résultat depuis l’hôte : Compatibilité des transceivers sur les NIC, Outils et diagnostics NIC.