NIC-Ports, Geschwindigkeiten und PCIe-Bandbreite

Die Frontplatte einer NIC verspricht „2 × 100G“; ob der Server tatsächlich 200 Gb/s bewegen kann, hängt vom PCIe-Steckplatz hinter der Karte ab, und ob ein bestimmtes Modul funktioniert, hängt von den Käfigen und der Lane-Zuordnung des Controllers ab — genau wie beim Switch, nur mit weniger Ports und einem Bus, der sich leicht unterdimensionieren lässt. Diese Seite listet die Käfige und Geschwindigkeiten, die bei NICs vorkommen, die Regeln für Dual-Rate-Ports und Breakout-Kabel, die PCIe-Rechnung, den Formfaktor OCP 3.0 sowie die Leistungs- und Kühlgrenzen, die für Optik auf Karten wichtig sind.

Käfige und Geschwindigkeiten bei NICs

Für die Käfig-Kompatibilität gelten dieselben Regeln wie beim Switch (Porttypen und Käfige).

Dual-Rate-Ports und Geschwindigkeitsgruppen

• Die meisten 25G-NICs betreiben jeden Port unabhängig mit 10G oder 25G — keine Quad-Gruppierung —, aber einige Dual-Port-Controller teilen sich eine SerDes-Gruppe und erzwingen auf beiden Ports dieselbe Geschwindigkeit.
• 100G-Karten unterstützen oft 40G-Module; 200G-/400G-Karten unterstützen 100G-Module; mehr als eine Generation nach unten (1G in einem SFP28, 10G in einem QSFP56 über QSA) wird selten unterstützt.
• Der Speed wird meist automatisch aus den Compliance-Codes des Moduls übernommen; das Erzwingen (ethtool -s … speed) ist nötig, wenn das Modul Dual-Rate oder nicht erkannt ist (Tools).

Breakout bei NICs

PCIe: die tatsächliche Portgeschwindigkeit

Der nutzbare Durchsatz liegt nach Kodierung und Paket-Overhead bei 85–90 % des Bruttowerts. Ports und Lanes aufeinander abstimmen:

Eine 2 × 100G-Karte in einem Gen-3-x8-Steckplatz linkt auf beiden Ports mit 100G und liefert insgesamt ~60 Gb/s — die Optik ist in Ordnung, der Bus nicht. Mit lspci -vv die ausgehandelte Link-Breite und -Geschwindigkeit (LnkSta) sowie die BIOS-Bifurkationseinstellungen prüfen.

OCP NIC 3.0

OCP-Karten sitzen mit einem eigenen Luftkanal an der Rückseite des Servers; die Modulkühlung ist meist besser als bei einer PCIe-Karte, die zwischen GPUs eingebaut ist.

Leistung und Kühlung für Optik auf Karten

Multi-Host und Socket Direct

High-End-Karten können sich zwei CPU-Sockeln (zwei x8- oder x16-Links) oder mehreren Hosts gegenüber präsentieren. Die optische Seite bleibt unverändert; der Split liegt im PCIe. Relevant bei 400G auf Gen-4-Plattformen und bei GPU-Servern, wo die NIC jeder GPU auf ihrer eigenen PCIe-Root sitzen muss.

Checkliste vor dem Kauf einer NIC für Optik

1. Käfigtyp und die Geschwindigkeiten, die der Controller an diesem Käfig unterstützt.
2. PCIe-Generation und Lanes im Zielsteckplatz gegenüber der gesamten Port-Bandbreite.
3. Wird Breakout benötigt? Der Controller muss Port-Split unterstützen.
4. Modulrichtlinie des Treibers (Transceiver-Kompatibilität bei NICs).
5. Leistungsbudget des Käfigs gegenüber den geplanten Modulen; Zusatzstecker vorhanden.
6. Luftstrom an der Gehäuseposition; für bessere Kühlung OCP 3.0 in Betracht ziehen.
7. Unterstützung von Betriebssystem/Treiber für FEC-Modi und das Erzwingen der Geschwindigkeit.

In CodingBox

Die Compliance-Codes und die Leistungsklasse des Moduls zeigen, ob es den Käfig und die Geschwindigkeit der NIC bedienen kann; CodingBox liest sie, bevor das Modul eingebaut wird, und die Fragen zu Port-Split und PCIe werden auf der Serverseite geklärt (Check transceiver).