Ports NIC, débits et bande passante PCIe
La façade d’un NIC promet « 2 × 100G » ; que le serveur puisse réellement faire transiter 200 Gb/s dépend du slot PCIe derrière la carte, et qu’un module donné fonctionne dépend des cages et du plan de voies du contrôleur — exactement comme sur un commutateur, mais avec moins de ports et un bus facile à sous-dimensionner. Cette page liste les cages et les débits que l’on trouve sur les NIC, les règles pour les ports à double débit et les câbles d’éclatement, l’arithmétique du PCIe, le facteur de forme OCP 3.0, et les limites d’alimentation et de refroidissement qui comptent pour l’optique sur les cartes.
Cages et débits sur les NIC
| Cage | Débits observés sur les NIC | Contrôleurs typiques | Remarques |
|---|---|---|---|
| SFP+ | 10G (1G sur certains) | Intel X520/X710, Broadcom 5741x | le support du 1G varie ; vérifier la fiche de la carte |
| SFP28 | 25G, 10G (1G rare) | Intel XXV710/E810-XXV, ConnectX-4 Lx/-6 Lx, Broadcom P225 | le 25G exige un accord de FEC (FEC et AN) |
| SFP56 | 50G, 25G, 10G | ConnectX-6 Lx/Dx (certains) | voies PAM4 |
| QSFP28 | 100G, 4 × 25G, 2 × 50G, 40G, 4 × 10G | Intel E810-CQDA2, ConnectX-5/6, Broadcom P2100 | éclatement par câble uniquement là où le contrôleur le permet |
| QSFP56 | 200G, 100G, 2 × 100G | ConnectX-6 Dx/-7, Broadcom P2200, Pensando | — |
| QSFP112 | 400G, 200G, 100G, 4 × 100G | ConnectX-7, Broadcom P1400GD | 100G/voie ; accepte les QSFP28/56 |
| QSFP-DD | 400G, 2 × 200G, 4 × 100G | Broadcom BCM57608 | — |
| OSFP (bi-port) | 2 × 400G, 800G | ConnectX-7/-8, BlueField-3 | une cage, deux ports logiques sur les conceptions bi-port Nvidia |
| RJ45 | 1G / 10GBASE-T / mGig | X550, X710-T, BCM57416 | pas de module, PHY sur la carte |
Les règles de compatibilité des cages sont celles des commutateurs (Types de ports et cages).
Ports à double débit et groupes de débit
- La plupart des NIC 25G font fonctionner chaque port indépendamment en 10G ou 25G — pas de regroupement quadruple — mais quelques contrôleurs à double port partagent un groupe SerDes et forcent le même débit sur les deux ports.
- Les cartes 100G prennent souvent en charge les modules 40G ; les cartes 200G/400G prennent en charge les modules 100G ; descendre de plus d’une génération (1G dans un SFP28, 10G dans un QSFP56 via QSA) est rarement pris en charge.
- Le débit est généralement automatique d’après les codes de conformité du module ; forcer (
ethtool -s … speed) est nécessaire quand le module est à double débit ou non reconnu (Outils).
Éclatement sur les NIC
| Cas | Fonctionne ? |
|---|---|
| Port NIC QSFP28 100G → 4 × 25G vers un commutateur (répartiteur DAC) | seulement si le contrôleur prend en charge le mode « 4 × 25G port split » (beaucoup de cartes Nvidia et Broadcom le font, la plupart des Intel non) ; la carte affiche alors 4 netdevs |
| Port de commutateur 100G → 4 × 25G vers quatre ports NIC SFP28 | oui — c’est le sens courant ; l’éclatement se configure sur le commutateur (Éclatement et câblage MPO) |
| OSFP bi-port 400G → 2 × 400G ou 4 × 200G / 8 × 100G | cartes bi-port Nvidia : 2 ports logiques par cage ; un éclatement supplémentaire dépend du firmware |
| 2 × 50G depuis un port QSFP28 | certains contrôleurs |
PCIe : le vrai débit du port
| Génération PCIe | Par voie (brut) | x8 utile (≈) | x16 utile (≈) |
|---|---|---|---|
| Gen 3 | 8 GT/s | 56–63 Gb/s | 112–126 Gb/s |
| Gen 4 | 16 GT/s | 112–126 Gb/s | 225–252 Gb/s |
| Gen 5 | 32 GT/s | 225–252 Gb/s | 450–504 Gb/s |
| Gen 6 | 64 GT/s | ~450–500 Gb/s | ~900–1 000 Gb/s |
Le débit utile est de 85–90 % du brut après encodage et surcharge des paquets. Faites correspondre les ports aux voies :
| Carte | Ports | Besoin |
|---|---|---|
| 2 × 25G | 50 Gb/s | Gen 3 x8 |
| 2 × 100G | 200 Gb/s | Gen 4 x16 (le Gen 3 x16 sature vers ~126) |
| 1 × 200G / 2 × 100G Gen 4 | 200 Gb/s | Gen 4 x16 |
| 2 × 200G | 400 Gb/s | Gen 5 x16 |
| 1 × 400G | 400 Gb/s | Gen 5 x16 (ou deux x16 via « socket direct »/multi-host) |
| 2 × 400G | 800 Gb/s | Gen 6 x16 ou deux Gen 5 x16 |
Une carte 2 × 100G dans un slot Gen 3 x8 se connecte en 100G sur les deux ports et délivre ~60 Gb/s au total — l’optique va bien, le bus non. Vérifiez lspci -vv pour la largeur et la vitesse de liaison négociées (LnkSta), et les réglages de bifurcation du BIOS.
OCP NIC 3.0
| Élément | SFF (petit facteur de forme) | LFF (grand) |
|---|---|---|
| Taille | 76 × 115 mm | 139 × 115 mm |
| PCIe | jusqu’à x16 | jusqu’à x32 (deux x16) |
| Alimentation | jusqu’à 80 W | jusqu’à 150 W |
| Ports | 2–4 × SFP28/QSFP28/QSFP56/QSFP112 | 2 × QSFP-DD/OSFP ou plus |
| Accès à l’optique | avant du module, sans outil | identique |
Les cartes OCP se trouvent à l’arrière du serveur avec leur propre canal de ventilation ; le refroidissement des modules y est généralement meilleur que sur une carte PCIe enfouie entre des GPU.
Alimentation et refroidissement pour l’optique sur les cartes
| Élément | Limite / règle |
|---|---|
| Alimentation du slot PCIe | 25 W (x1…x8 profil bas), 75 W (x16) ; les cartes 400G utilisent un connecteur auxiliaire 8 broches |
| Budget par cage sur les NIC | SFP28 : 1,5 W (niveau II) ; QSFP28 : 3,5–4,5 W ; QSFP56/112 : 5–8 W ; QSFP-DD/OSFP : 12–20 W — indiqué dans la fiche technique de la carte (Puissance et consommation) |
| Ventilation | 200–300 LFM à travers la carte ; l’optique d’une carte dans un serveur 1U près de l’échappement du CPU chauffe — une température DDM supérieure à 60 °C est courante |
| Limitation thermique | certains contrôleurs abaissent le module en basse puissance ou coupent le port quand le module rapporte une température élevée |
| Cohérent / ZR sur les NIC | non pris en charge sur les NIC standards — la classe 8 dépasse le budget de la cage |
Multi-host et socket direct
Les cartes haut de gamme peuvent se présenter à deux sockets CPU (deux liaisons x8 ou x16) ou à plusieurs hôtes. Le côté optique est inchangé ; la répartition se fait au niveau PCIe. Pertinent pour le 400G sur les plateformes Gen 4 et pour les serveurs GPU où le NIC de chaque GPU doit se trouver sur sa propre racine PCIe.
Liste de contrôle avant d’acheter un NIC pour l’optique
- Type de cage et débits pris en charge par le contrôleur sur cette cage.
- Génération PCIe et voies du slot cible contre bande passante totale des ports.
- Éclatement nécessaire ? Le contrôleur doit prendre en charge le port split.
- Politique de module du pilote (Compatibilité optique sur les NIC).
- Budget de puissance de la cage contre modules envisagés ; présence d’un connecteur d’alimentation auxiliaire.
- Ventilation à l’emplacement dans le châssis ; envisager l’OCP 3.0 pour un meilleur refroidissement.
- Support OS/pilote pour les modes FEC et le forçage de débit.
Dans CodingBox
Les codes de conformité et la classe de puissance du module indiquent s’il peut servir la cage et le débit du NIC ; CodingBox les lit avant que le module ne soit installé, et les questions de port-split et de PCIe se règlent côté serveur (Check transceiver).