Ports NIC, débits et bande passante PCIe · Cartes d’interface réseau · Cartes réseau et commutateurs · Documentation · CodingBox
CodingBox Documentation

Ports NIC, débits et bande passante PCIe

La façade d’un NIC promet « 2 × 100G » ; que le serveur puisse réellement faire transiter 200 Gb/s dépend du slot PCIe derrière la carte, et qu’un module donné fonctionne dépend des cages et du plan de voies du contrôleur — exactement comme sur un commutateur, mais avec moins de ports et un bus facile à sous-dimensionner. Cette page liste les cages et les débits que l’on trouve sur les NIC, les règles pour les ports à double débit et les câbles d’éclatement, l’arithmétique du PCIe, le facteur de forme OCP 3.0, et les limites d’alimentation et de refroidissement qui comptent pour l’optique sur les cartes.

Cages et débits sur les NIC

CageDébits observés sur les NICContrôleurs typiquesRemarques
SFP+10G (1G sur certains)Intel X520/X710, Broadcom 5741xle support du 1G varie ; vérifier la fiche de la carte
SFP2825G, 10G (1G rare)Intel XXV710/E810-XXV, ConnectX-4 Lx/-6 Lx, Broadcom P225le 25G exige un accord de FEC (FEC et AN)
SFP5650G, 25G, 10GConnectX-6 Lx/Dx (certains)voies PAM4
QSFP28100G, 4 × 25G, 2 × 50G, 40G, 4 × 10GIntel E810-CQDA2, ConnectX-5/6, Broadcom P2100éclatement par câble uniquement là où le contrôleur le permet
QSFP56200G, 100G, 2 × 100GConnectX-6 Dx/-7, Broadcom P2200, Pensando—
QSFP112400G, 200G, 100G, 4 × 100GConnectX-7, Broadcom P1400GD100G/voie ; accepte les QSFP28/56
QSFP-DD400G, 2 × 200G, 4 × 100GBroadcom BCM57608—
OSFP (bi-port)2 × 400G, 800GConnectX-7/-8, BlueField-3une cage, deux ports logiques sur les conceptions bi-port Nvidia
RJ451G / 10GBASE-T / mGigX550, X710-T, BCM57416pas de module, PHY sur la carte

Les règles de compatibilité des cages sont celles des commutateurs (Types de ports et cages).

Ports à double débit et groupes de débit

  • La plupart des NIC 25G font fonctionner chaque port indépendamment en 10G ou 25G — pas de regroupement quadruple — mais quelques contrôleurs à double port partagent un groupe SerDes et forcent le même débit sur les deux ports.
  • Les cartes 100G prennent souvent en charge les modules 40G ; les cartes 200G/400G prennent en charge les modules 100G ; descendre de plus d’une génération (1G dans un SFP28, 10G dans un QSFP56 via QSA) est rarement pris en charge.
  • Le débit est généralement automatique d’après les codes de conformité du module ; forcer (ethtool -s … speed) est nécessaire quand le module est à double débit ou non reconnu (Outils).

Éclatement sur les NIC

CasFonctionne ?
Port NIC QSFP28 100G → 4 × 25G vers un commutateur (répartiteur DAC)seulement si le contrôleur prend en charge le mode « 4 × 25G port split » (beaucoup de cartes Nvidia et Broadcom le font, la plupart des Intel non) ; la carte affiche alors 4 netdevs
Port de commutateur 100G → 4 × 25G vers quatre ports NIC SFP28oui — c’est le sens courant ; l’éclatement se configure sur le commutateur (Éclatement et câblage MPO)
OSFP bi-port 400G → 2 × 400G ou 4 × 200G / 8 × 100Gcartes bi-port Nvidia : 2 ports logiques par cage ; un éclatement supplémentaire dépend du firmware
2 × 50G depuis un port QSFP28certains contrôleurs

PCIe : le vrai débit du port

Génération PCIePar voie (brut)x8 utile (≈)x16 utile (≈)
Gen 38 GT/s56–63 Gb/s112–126 Gb/s
Gen 416 GT/s112–126 Gb/s225–252 Gb/s
Gen 532 GT/s225–252 Gb/s450–504 Gb/s
Gen 664 GT/s~450–500 Gb/s~900–1 000 Gb/s

Le débit utile est de 85–90 % du brut après encodage et surcharge des paquets. Faites correspondre les ports aux voies :

CartePortsBesoin
2 × 25G50 Gb/sGen 3 x8
2 × 100G200 Gb/sGen 4 x16 (le Gen 3 x16 sature vers ~126)
1 × 200G / 2 × 100G Gen 4200 Gb/sGen 4 x16
2 × 200G400 Gb/sGen 5 x16
1 × 400G400 Gb/sGen 5 x16 (ou deux x16 via « socket direct »/multi-host)
2 × 400G800 Gb/sGen 6 x16 ou deux Gen 5 x16

Une carte 2 × 100G dans un slot Gen 3 x8 se connecte en 100G sur les deux ports et délivre ~60 Gb/s au total — l’optique va bien, le bus non. Vérifiez lspci -vv pour la largeur et la vitesse de liaison négociées (LnkSta), et les réglages de bifurcation du BIOS.

OCP NIC 3.0

ÉlémentSFF (petit facteur de forme)LFF (grand)
Taille76 × 115 mm139 × 115 mm
PCIejusqu’à x16jusqu’à x32 (deux x16)
Alimentationjusqu’à 80 Wjusqu’à 150 W
Ports2–4 × SFP28/QSFP28/QSFP56/QSFP1122 × QSFP-DD/OSFP ou plus
Accès à l’optiqueavant du module, sans outilidentique

Les cartes OCP se trouvent à l’arrière du serveur avec leur propre canal de ventilation ; le refroidissement des modules y est généralement meilleur que sur une carte PCIe enfouie entre des GPU.

Alimentation et refroidissement pour l’optique sur les cartes

ÉlémentLimite / règle
Alimentation du slot PCIe25 W (x1…x8 profil bas), 75 W (x16) ; les cartes 400G utilisent un connecteur auxiliaire 8 broches
Budget par cage sur les NICSFP28 : 1,5 W (niveau II) ; QSFP28 : 3,5–4,5 W ; QSFP56/112 : 5–8 W ; QSFP-DD/OSFP : 12–20 W — indiqué dans la fiche technique de la carte (Puissance et consommation)
Ventilation200–300 LFM à travers la carte ; l’optique d’une carte dans un serveur 1U près de l’échappement du CPU chauffe — une température DDM supérieure à 60 °C est courante
Limitation thermiquecertains contrôleurs abaissent le module en basse puissance ou coupent le port quand le module rapporte une température élevée
Cohérent / ZR sur les NICnon pris en charge sur les NIC standards — la classe 8 dépasse le budget de la cage

Multi-host et socket direct

Les cartes haut de gamme peuvent se présenter à deux sockets CPU (deux liaisons x8 ou x16) ou à plusieurs hôtes. Le côté optique est inchangé ; la répartition se fait au niveau PCIe. Pertinent pour le 400G sur les plateformes Gen 4 et pour les serveurs GPU où le NIC de chaque GPU doit se trouver sur sa propre racine PCIe.

Liste de contrôle avant d’acheter un NIC pour l’optique

  1. Type de cage et débits pris en charge par le contrôleur sur cette cage.
  2. Génération PCIe et voies du slot cible contre bande passante totale des ports.
  3. Éclatement nécessaire ? Le contrôleur doit prendre en charge le port split.
  4. Politique de module du pilote (Compatibilité optique sur les NIC).
  5. Budget de puissance de la cage contre modules envisagés ; présence d’un connecteur d’alimentation auxiliaire.
  6. Ventilation à l’emplacement dans le châssis ; envisager l’OCP 3.0 pour un meilleur refroidissement.
  7. Support OS/pilote pour les modes FEC et le forçage de débit.

Dans CodingBox

Les codes de conformité et la classe de puissance du module indiquent s’il peut servir la cage et le débit du NIC ; CodingBox les lit avant que le module ne soit installé, et les questions de port-split et de PCIe se règlent côté serveur (Check transceiver).


Si vous trouvez une inexactitude ou une erreur dans cet article, sélectionnez le passage concerné et appuyez sur Ctrl+Enter pour .