Porty NIC, szybkości i przepustowość PCIe

Panel przedni karty NIC obiecuje „2 × 100G”; to, czy serwer rzeczywiście przepchnie 200 Gb/s, zależy od slotu PCIe za kartą, a to, czy dany moduł zadziała, zależy od klatek i mapy linii kontrolera — dokładnie jak na przełączniku, tylko z mniejszą liczbą portów i magistralą, którą łatwo niedoszacować. Ta strona wymienia klatki i szybkości spotykane w kartach NIC, reguły dla portów dwuszybkościowych i kabli breakout, arytmetykę PCIe, format obudowy OCP 3.0 oraz limity mocy i chłodzenia istotne dla optyki w kartach.

Klatki i szybkości w kartach NIC

Klatka	Szybkości spotykane w NIC	Typowe kontrolery	Uwagi
SFP+	10G (w niektórych 1G)	Intel X520/X710, Broadcom 5741x	obsługa 1G bywa różna; sprawdzić specyfikację karty
SFP28	25G, 10G (1G rzadko)	Intel XXV710/E810-XXV, ConnectX-4 Lx/-6 Lx, Broadcom P225	25G wymaga uzgodnienia FEC (FEC i AN)
SFP56	50G, 25G, 10G	ConnectX-6 Lx/Dx (niektóre)	linie PAM4
QSFP28	100G, 4 × 25G, 2 × 50G, 40G, 4 × 10G	Intel E810-CQDA2, ConnectX-5/6, Broadcom P2100	breakout kablowy tylko tam, gdzie dopuszcza to kontroler
QSFP56	200G, 100G, 2 × 100G	ConnectX-6 Dx/-7, Broadcom P2200, Pensando	—
QSFP112	400G, 200G, 100G, 4 × 100G	ConnectX-7, Broadcom P1400GD	100G/linię; akceptuje QSFP28/56
QSFP-DD	400G, 2 × 200G, 4 × 100G	Broadcom BCM57608	—
OSFP (twin-port)	2 × 400G, 800G	ConnectX-7/-8, BlueField-3	jedna klatka, dwa porty logiczne w konstrukcjach twin-port Nvidia
RJ45	1G / 10GBASE-T / mGig	X550, X710-T, BCM57416	bez modułu, PHY na karcie

Reguły kompatybilności klatek są takie same jak na przełączniku (Typy portów i klatki).

Porty dwuszybkościowe i grupy szybkości

Większość kart NIC 25G prowadzi każdy port niezależnie przy 10G lub 25G — bez grupowania poczwórnego — ale kilka kontrolerów dwuportowych dzieli grupę SerDes i wymusza tę samą szybkość na obu portach.
Karty 100G często obsługują moduły 40G; karty 200G/400G obsługują moduły 100G; zejście o więcej niż jedną generację w dół (1G w SFP28, 10G w QSFP56 przez QSA) jest rzadko obsługiwane.
Szybkość jest zwykle automatyczna, na podstawie kodów zgodności modułu; wymuszenie (ethtool -s … speed) jest potrzebne, gdy moduł jest dwuszybkościowy albo nierozpoznany (Narzędzia).

Breakout w kartach NIC

Przypadek	Działa?
Port 100G QSFP28 karty NIC → 4 × 25G do przełącznika (rozgałęźnik DAC)	tylko jeśli kontroler obsługuje tryb „4 × 25G port split” (wiele kart Nvidia i Broadcom tak, większość Intela nie); karta pokazuje wtedy 4 netdevs
Port 100G przełącznika → 4 × 25G do czterech portów SFP28 kart NIC	tak — to typowy kierunek; podział konfiguruje się na przełączniku (Breakout i okablowanie MPO)
400G OSFP twin-port → 2 × 400G albo 4 × 200G / 8 × 100G	karty twin-port Nvidia: 2 porty logiczne na klatkę; dalszy podział zależy od firmware
2 × 50G z portu QSFP28	niektóre kontrolery

PCIe: rzeczywista szybkość portu

Generacja PCIe	Na linię (surowo)	x8 użyteczne (≈)	x16 użyteczne (≈)
Gen 3	8 GT/s	56–63 Gb/s	112–126 Gb/s
Gen 4	16 GT/s	112–126 Gb/s	225–252 Gb/s
Gen 5	32 GT/s	225–252 Gb/s	450–504 Gb/s
Gen 6	64 GT/s	~450–500 Gb/s	~900–1 000 Gb/s

Użyteczna przepustowość to 85–90 % wartości surowej po odjęciu kodowania i narzutu pakietów. Dopasowanie portów do linii:

Karta	Porty	Wymaga
2 × 25G	50 Gb/s	Gen 3 x8
2 × 100G	200 Gb/s	Gen 4 x16 (Gen 3 x16 saturuje się przy ~126)
1 × 200G / 2 × 100G Gen 4	200 Gb/s	Gen 4 x16
2 × 200G	400 Gb/s	Gen 5 x16
1 × 400G	400 Gb/s	Gen 5 x16 (albo dwa x16 przez „socket direct”/multi-host)
2 × 400G	800 Gb/s	Gen 6 x16 albo dwa Gen 5 x16

Karta 2 × 100G w slocie Gen 3 x8 łączy się przy 100G na obu portach i dostarcza łącznie ~60 Gb/s — z optyką wszystko w porządku, z magistralą nie. Sprawdź lspci -vv pod kątem wynegocjowanej szerokości i szybkości łącza (LnkSta) oraz ustawień bifurkacji w BIOS-ie.

OCP NIC 3.0

Pozycja	SFF (mały format)	LFF (duży)
Rozmiar	76 × 115 mm	139 × 115 mm
PCIe	do x16	do x32 (dwa x16)
Moc	do 80 W	do 150 W
Porty	2–4 × SFP28/QSFP28/QSFP56/QSFP112	2 × QSFP-DD/OSFP lub więcej
Dostęp do optyki	z przodu modułu, bez narzędzi	tak samo

Karty OCP znajdują się z tyłu serwera i mają własny kanał przepływu powietrza; chłodzenie modułów jest zwykle lepsze niż w karcie PCIe zakopanej między GPU.

Moc i chłodzenie dla optyki w kartach

Pozycja	Limit / reguła
Moc slotu PCIe	25 W (x1…x8 low profile), 75 W (x16); karty 400G używają 8-pinowego złącza pomocniczego
Budżet na klatkę w kartach NIC	SFP28: 1,5 W (poziom II); QSFP28: 3,5–4,5 W; QSFP56/112: 5–8 W; QSFP-DD/OSFP: 12–20 W — podaje to karta katalogowa karty (Moc i pobór energii)
Przepływ powietrza	200–300 LFM przez kartę; optyka w karcie w serwerze 1U blisko wywiewu CPU pracuje gorąco — temperatura DDM powyżej 60 °C to typowa sytuacja
Throttling termiczny	niektóre kontrolery obniżają moduł do niskiej mocy albo wyłączają port, gdy moduł zgłasza wysoką temperaturę
Coherent / ZR w kartach NIC	niewspierane w standardowych kartach NIC — klasa 8 przekracza budżet klatki

Multi-host i socket direct

Karty klasy wyższej potrafią zgłaszać się do dwóch gniazd CPU (dwa łącza x8 lub x16) albo do kilku hostów. Strona optyczna pozostaje bez zmian; podział zachodzi w PCIe. Ma to znaczenie dla 400G na platformach Gen 4 oraz dla serwerów GPU, gdzie NIC każdego GPU musi mieć własny root PCIe.

Lista kontrolna przed zakupem karty NIC pod optykę

Typ klatki i szybkości, które kontroler obsługuje na tej klatce.
Generacja PCIe i liczba linii w docelowym slocie a sumaryczna przepustowość portów.
Czy potrzebny jest breakout? Kontroler musi obsługiwać podział portu.
Polityka modułów sterownika (Kompatybilność optyki w kartach NIC).
Budżet mocy klatki a planowane moduły; obecność złącza zasilania pomocniczego.
Przepływ powietrza w danej pozycji obudowy; rozważyć OCP 3.0 dla lepszego chłodzenia.
Obsługa trybów FEC i wymuszania szybkości przez system/sterownik.

W CodingBox

Kody zgodności i klasa mocy modułu mówią, czy obsłuży on klatkę i szybkość karty NIC; CodingBox odczytuje je, zanim moduł zostanie zainstalowany, a kwestie podziału portu i PCIe rozstrzygają się po stronie serwera (Check transceiver).

Jeśli znajdziesz nieścisłość lub błąd w tym materiale, zaznacz odpowiedni fragment i naciśnij Ctrl+Enter, aby .