Porte NIC, velocità e larghezza di banda PCIe · Schede di interfaccia di rete · Schede di rete e switch · Documentazione · CodingBox
CodingBox Documentazione

Porte NIC, velocità e larghezza di banda PCIe

Il pannello frontale di una NIC promette «2 × 100G»; se il server riesca davvero a muovere 200 Gb/s dipende dallo slot PCIe dietro la scheda, e se un dato modulo funzioni dipende dalle gabbie e dalla mappa delle lane del controller — esattamente come su uno switch, ma con meno porte e un bus facile da sottodimensionare. Questa pagina elenca le gabbie e le velocità presenti sulle NIC, le regole per le porte dual-rate e i cavi breakout, l’aritmetica del PCIe, il fattore di forma OCP 3.0, e i limiti di potenza e raffreddamento rilevanti per le ottiche sulle schede.

Gabbie e velocità sulle NIC

GabbiaVelocità viste sulle NICController tipiciNote
SFP+10G (1G su alcune)Intel X520/X710, Broadcom 5741xil supporto 1G varia; verifica le specifiche della scheda
SFP2825G, 10G (1G raro)Intel XXV710/E810-XXV, ConnectX-4 Lx/-6 Lx, Broadcom P22525G richiede accordo sul FEC (FEC e AN)
SFP5650G, 25G, 10GConnectX-6 Lx/Dx (alcune)lane PAM4
QSFP28100G, 4 × 25G, 2 × 50G, 40G, 4 × 10GIntel E810-CQDA2, ConnectX-5/6, Broadcom P2100breakout via cavo solo dove il controller lo consente
QSFP56200G, 100G, 2 × 100GConnectX-6 Dx/-7, Broadcom P2200, Pensando—
QSFP112400G, 200G, 100G, 4 × 100GConnectX-7, Broadcom P1400GD100G/lane; accetta QSFP28/56
QSFP-DD400G, 2 × 200G, 4 × 100GBroadcom BCM57608—
OSFP (twin-port)2 × 400G, 800GConnectX-7/-8, BlueField-3una gabbia, due porte logiche nei design twin-port Nvidia
RJ451G / 10GBASE-T / mGigX550, X710-T, BCM57416nessun modulo, PHY sulla scheda

Le regole di compatibilità delle gabbie sono le stesse dello switch (Tipi di porta e gabbie).

Porte dual-rate e gruppi di velocità

  • La maggior parte delle NIC 25G fa funzionare ogni porta in modo indipendente a 10G o 25G — nessun raggruppamento a quattro — ma alcuni controller dual-port condividono un gruppo SerDes e forzano la stessa velocità su entrambe le porte.
  • Le schede 100G spesso supportano moduli 40G; le schede 200G/400G supportano moduli 100G; scendere di più di una generazione (1G in un SFP28, 10G in un QSFP56 via QSA) è raramente supportato.
  • La velocità è di solito automatica dai codici di conformità del modulo; forzarla (ethtool -s … speed) serve quando il modulo è dual-rate o non riconosciuto (Strumenti).

Breakout sulle NIC

CasoFunziona?
Porta NIC 100G QSFP28 → 4 × 25G verso uno switch (DAC splitter)solo se il controller supporta la modalità «4 × 25G port split» (molte schede Nvidia e Broadcom sì, la maggior parte delle Intel no); la scheda mostra quindi 4 netdev
Porta switch 100G → 4 × 25G verso quattro porte NIC SFP28sì — è la direzione comune; lo split si configura sullo switch (Breakout e MPO)
400G OSFP twin-port → 2 × 400G o 4 × 200G / 8 × 100Gschede twin-port Nvidia: 2 porte logiche per gabbia; un ulteriore split dipende dal firmware
2 × 50G da una porta QSFP28alcuni controller

PCIe: la vera velocità di porta

Generazione PCIePer lane (grezzo)x8 utilizzabile (≈)x16 utilizzabile (≈)
Gen 38 GT/s56–63 Gb/s112–126 Gb/s
Gen 416 GT/s112–126 Gb/s225–252 Gb/s
Gen 532 GT/s225–252 Gb/s450–504 Gb/s
Gen 664 GT/s~450–500 Gb/s~900–1 000 Gb/s

Il throughput utilizzabile è l’85–90 % del grezzo dopo l’encoding e l’overhead dei pacchetti. Abbina le porte alle lane:

SchedaPorteRichiede
2 × 25G50 Gb/sGen 3 x8
2 × 100G200 Gb/sGen 4 x16 (Gen 3 x16 satura a ~126)
1 × 200G / 2 × 100G Gen 4200 Gb/sGen 4 x16
2 × 200G400 Gb/sGen 5 x16
1 × 400G400 Gb/sGen 5 x16 (oppure due x16 via «socket direct»/multi-host)
2 × 400G800 Gb/sGen 6 x16 oppure due Gen 5 x16

Una scheda 2 × 100G in uno slot Gen 3 x8 collega a 100G su entrambe le porte ed eroga ~60 Gb/s totali — le ottiche vanno bene, il bus no. Verifica lspci -vv per la larghezza e la velocità del collegamento negoziate (LnkSta), e le impostazioni di bifurcazione del BIOS.

OCP NIC 3.0

VoceSFF (formato ridotto)LFF (formato grande)
Dimensioni76 × 115 mm139 × 115 mm
PCIefino a x16fino a x32 (due x16)
Potenzafino a 80 Wfino a 150 W
Porte2–4 × SFP28/QSFP28/QSFP56/QSFP1122 × QSFP-DD/OSFP o più
Accesso alle ottichedal fronte del modulo, senza utensiliuguale

Le schede OCP si trovano sul retro del server con un proprio canale di flusso d’aria; il raffreddamento dei moduli è di solito migliore che su una scheda PCIe sepolta tra le GPU.

Alimentazione e raffreddamento per le ottiche sulle schede

VoceLimite / regola
Potenza dello slot PCIe25 W (x1…x8 low profile), 75 W (x16); le schede 400G usano un connettore ausiliario a 8 pin
Budget per gabbia sulle NICSFP28: 1,5 W (livello II); QSFP28: 3,5–4,5 W; QSFP56/112: 5–8 W; QSFP-DD/OSFP: 12–20 W — il valore è indicato nel datasheet della scheda (Potenza e consumo)
Flusso d’aria200–300 LFM sulla scheda; le ottiche su una scheda in un server 1U vicino allo scarico della CPU si scaldano — una temperatura DDM sopra i 60 °C è comune
Thermal throttlingalcuni controller riducono il modulo a bassa potenza o spengono la porta quando il modulo segnala una temperatura elevata
Coerenti / ZR sulle NICnon supportati sulle NIC standard — la classe 8 supera il budget della gabbia

Multi-host e socket direct

Le schede di fascia alta possono presentarsi a due socket CPU (due collegamenti x8 o x16) o a più host. Il lato ottico non cambia; lo split è nel PCIe. Rilevante per il 400G su piattaforme Gen 4 e per i server GPU dove la NIC di ogni GPU deve stare sulla propria radice PCIe.

Checklist prima di acquistare una NIC per le ottiche

  1. Tipo di gabbia e le velocità supportate dal controller su quella gabbia.
  2. Generazione PCIe e lane nello slot di destinazione rispetto alla larghezza di banda totale delle porte.
  3. Serve il breakout? Il controller deve supportare il port split.
  4. Policy sui moduli del driver (Compatibilità ottica sulle NIC).
  5. Budget di potenza della gabbia rispetto ai moduli previsti; presenza del connettore di alimentazione ausiliario.
  6. Flusso d’aria nella posizione dello chassis; valuta OCP 3.0 per un raffreddamento migliore.
  7. Supporto di sistema operativo e driver per le modalità FEC e la forzatura della velocità.

In CodingBox

I codici di conformità e la classe di potenza del modulo indicano se può servire la gabbia e la velocità della NIC; CodingBox li legge prima che il modulo sia installato, e le questioni di port-split e PCIe si risolvono lato server (Check transceiver).


Se trovi un’imprecisione o un errore in questo articolo, seleziona il passaggio corrispondente e premi Ctrl+Enter per .