Porte NIC, velocità e larghezza di banda PCIe
Il pannello frontale di una NIC promette «2 × 100G»; se il server riesca davvero a muovere 200 Gb/s dipende dallo slot PCIe dietro la scheda, e se un dato modulo funzioni dipende dalle gabbie e dalla mappa delle lane del controller — esattamente come su uno switch, ma con meno porte e un bus facile da sottodimensionare. Questa pagina elenca le gabbie e le velocità presenti sulle NIC, le regole per le porte dual-rate e i cavi breakout, l’aritmetica del PCIe, il fattore di forma OCP 3.0, e i limiti di potenza e raffreddamento rilevanti per le ottiche sulle schede.
Gabbie e velocità sulle NIC
| Gabbia | Velocità viste sulle NIC | Controller tipici | Note |
|---|---|---|---|
| SFP+ | 10G (1G su alcune) | Intel X520/X710, Broadcom 5741x | il supporto 1G varia; verifica le specifiche della scheda |
| SFP28 | 25G, 10G (1G raro) | Intel XXV710/E810-XXV, ConnectX-4 Lx/-6 Lx, Broadcom P225 | 25G richiede accordo sul FEC (FEC e AN) |
| SFP56 | 50G, 25G, 10G | ConnectX-6 Lx/Dx (alcune) | lane PAM4 |
| QSFP28 | 100G, 4 × 25G, 2 × 50G, 40G, 4 × 10G | Intel E810-CQDA2, ConnectX-5/6, Broadcom P2100 | breakout via cavo solo dove il controller lo consente |
| QSFP56 | 200G, 100G, 2 × 100G | ConnectX-6 Dx/-7, Broadcom P2200, Pensando | — |
| QSFP112 | 400G, 200G, 100G, 4 × 100G | ConnectX-7, Broadcom P1400GD | 100G/lane; accetta QSFP28/56 |
| QSFP-DD | 400G, 2 × 200G, 4 × 100G | Broadcom BCM57608 | — |
| OSFP (twin-port) | 2 × 400G, 800G | ConnectX-7/-8, BlueField-3 | una gabbia, due porte logiche nei design twin-port Nvidia |
| RJ45 | 1G / 10GBASE-T / mGig | X550, X710-T, BCM57416 | nessun modulo, PHY sulla scheda |
Le regole di compatibilità delle gabbie sono le stesse dello switch (Tipi di porta e gabbie).
Porte dual-rate e gruppi di velocità
- La maggior parte delle NIC 25G fa funzionare ogni porta in modo indipendente a 10G o 25G — nessun raggruppamento a quattro — ma alcuni controller dual-port condividono un gruppo SerDes e forzano la stessa velocità su entrambe le porte.
- Le schede 100G spesso supportano moduli 40G; le schede 200G/400G supportano moduli 100G; scendere di più di una generazione (1G in un SFP28, 10G in un QSFP56 via QSA) è raramente supportato.
- La velocità è di solito automatica dai codici di conformità del modulo; forzarla (
ethtool -s … speed) serve quando il modulo è dual-rate o non riconosciuto (Strumenti).
Breakout sulle NIC
| Caso | Funziona? |
|---|---|
| Porta NIC 100G QSFP28 → 4 × 25G verso uno switch (DAC splitter) | solo se il controller supporta la modalità «4 × 25G port split» (molte schede Nvidia e Broadcom sì, la maggior parte delle Intel no); la scheda mostra quindi 4 netdev |
| Porta switch 100G → 4 × 25G verso quattro porte NIC SFP28 | sì — è la direzione comune; lo split si configura sullo switch (Breakout e MPO) |
| 400G OSFP twin-port → 2 × 400G o 4 × 200G / 8 × 100G | schede twin-port Nvidia: 2 porte logiche per gabbia; un ulteriore split dipende dal firmware |
| 2 × 50G da una porta QSFP28 | alcuni controller |
PCIe: la vera velocità di porta
| Generazione PCIe | Per lane (grezzo) | x8 utilizzabile (≈) | x16 utilizzabile (≈) |
|---|---|---|---|
| Gen 3 | 8 GT/s | 56–63 Gb/s | 112–126 Gb/s |
| Gen 4 | 16 GT/s | 112–126 Gb/s | 225–252 Gb/s |
| Gen 5 | 32 GT/s | 225–252 Gb/s | 450–504 Gb/s |
| Gen 6 | 64 GT/s | ~450–500 Gb/s | ~900–1 000 Gb/s |
Il throughput utilizzabile è l’85–90 % del grezzo dopo l’encoding e l’overhead dei pacchetti. Abbina le porte alle lane:
| Scheda | Porte | Richiede |
|---|---|---|
| 2 × 25G | 50 Gb/s | Gen 3 x8 |
| 2 × 100G | 200 Gb/s | Gen 4 x16 (Gen 3 x16 satura a ~126) |
| 1 × 200G / 2 × 100G Gen 4 | 200 Gb/s | Gen 4 x16 |
| 2 × 200G | 400 Gb/s | Gen 5 x16 |
| 1 × 400G | 400 Gb/s | Gen 5 x16 (oppure due x16 via «socket direct»/multi-host) |
| 2 × 400G | 800 Gb/s | Gen 6 x16 oppure due Gen 5 x16 |
Una scheda 2 × 100G in uno slot Gen 3 x8 collega a 100G su entrambe le porte ed eroga ~60 Gb/s totali — le ottiche vanno bene, il bus no. Verifica lspci -vv per la larghezza e la velocità del collegamento negoziate (LnkSta), e le impostazioni di bifurcazione del BIOS.
OCP NIC 3.0
| Voce | SFF (formato ridotto) | LFF (formato grande) |
|---|---|---|
| Dimensioni | 76 × 115 mm | 139 × 115 mm |
| PCIe | fino a x16 | fino a x32 (due x16) |
| Potenza | fino a 80 W | fino a 150 W |
| Porte | 2–4 × SFP28/QSFP28/QSFP56/QSFP112 | 2 × QSFP-DD/OSFP o più |
| Accesso alle ottiche | dal fronte del modulo, senza utensili | uguale |
Le schede OCP si trovano sul retro del server con un proprio canale di flusso d’aria; il raffreddamento dei moduli è di solito migliore che su una scheda PCIe sepolta tra le GPU.
Alimentazione e raffreddamento per le ottiche sulle schede
| Voce | Limite / regola |
|---|---|
| Potenza dello slot PCIe | 25 W (x1…x8 low profile), 75 W (x16); le schede 400G usano un connettore ausiliario a 8 pin |
| Budget per gabbia sulle NIC | SFP28: 1,5 W (livello II); QSFP28: 3,5–4,5 W; QSFP56/112: 5–8 W; QSFP-DD/OSFP: 12–20 W — il valore è indicato nel datasheet della scheda (Potenza e consumo) |
| Flusso d’aria | 200–300 LFM sulla scheda; le ottiche su una scheda in un server 1U vicino allo scarico della CPU si scaldano — una temperatura DDM sopra i 60 °C è comune |
| Thermal throttling | alcuni controller riducono il modulo a bassa potenza o spengono la porta quando il modulo segnala una temperatura elevata |
| Coerenti / ZR sulle NIC | non supportati sulle NIC standard — la classe 8 supera il budget della gabbia |
Multi-host e socket direct
Le schede di fascia alta possono presentarsi a due socket CPU (due collegamenti x8 o x16) o a più host. Il lato ottico non cambia; lo split è nel PCIe. Rilevante per il 400G su piattaforme Gen 4 e per i server GPU dove la NIC di ogni GPU deve stare sulla propria radice PCIe.
Checklist prima di acquistare una NIC per le ottiche
- Tipo di gabbia e le velocità supportate dal controller su quella gabbia.
- Generazione PCIe e lane nello slot di destinazione rispetto alla larghezza di banda totale delle porte.
- Serve il breakout? Il controller deve supportare il port split.
- Policy sui moduli del driver (Compatibilità ottica sulle NIC).
- Budget di potenza della gabbia rispetto ai moduli previsti; presenza del connettore di alimentazione ausiliario.
- Flusso d’aria nella posizione dello chassis; valuta OCP 3.0 per un raffreddamento migliore.
- Supporto di sistema operativo e driver per le modalità FEC e la forzatura della velocità.
In CodingBox
I codici di conformità e la classe di potenza del modulo indicano se può servire la gabbia e la velocità della NIC; CodingBox li legge prima che il modulo sia installato, e le questioni di port-split e PCIe si risolvono lato server (Check transceiver).