Karty sieciowe z portami optycznymi: przegląd
Drugim końcem każdego łącza serwerowego jest karta sieciowa (NIC), i gra ona w tę samą grę co przełącznik — klatki, linie SerDes, magistrala zarządzania modułem, polityka dotycząca tego, które moduły akceptuje — z dwiema różnicami: polityka mieszka w sterowniku, a nie w sieciowym systemie operacyjnym, a wąskim gardłem często jest magistrala PCIe, nie port. Ten rozdział obejmuje karty NIC z klatkami klasy SFP/QSFP: rodziny i producentów, sposób, w jaki porty łączą się z PCIe, kompatybilność transceiverów i jej obejścia na poziomie sterownika, narzędzia odczytujące moduł po stronie serwera, oraz programowalne adaptery (SmartNIC, DPU), które zacierają granicę między kartą a przełącznikiem.

Czym jest NIC w kategoriach optyki
| Element | Na przełączniku | Na karcie NIC |
|---|
| Klatki | 24–64 na urządzenie | 1–4 na kartę (typowo 1–2) |
| SerDes | ASIC przekazujący ruch | ASIC kontrolera NIC (Intel E810, Broadcom BCM57508, Nvidia ConnectX-7…) |
| Zarządzanie modułem | NOS przez multiplekser I²C i CPLD | sterownik/firmware przez I²C kontrolera |
| Polityka | biała lista NOS (Jak każdy NOS weryfikuje moduł) | biała lista sterownika/firmware (Kompatybilność optyki w kartach NIC) |
| Konfiguracja szybkości/FEC | CLI | ethtool, narzędzia producenta, BIOS/UEFI, menedżer urządzeń systemu (Narzędzia) |
| Backhaul | ASIC fabric | linie PCIe do CPU (Porty i PCIe) |
| Zasilanie | 3,3 V na klatkę z obudowy | slot PCIe (25–75 W) plus złącze pomocnicze w kartach klasy wyższej |
| Typ karty | Gdzie | Porty |
|---|
| Karta PCIe add-in (half-height half-length, full-height) | dowolny slot serwera | 1–2 × SFP28/QSFP28, 1–2 × QSFP56/QSFP112/QSFP-DD/OSFP |
| OCP NIC 3.0 (mezzanine SFF / LFF) | slot OCP z tyłu serwera | te same klatki, dostępne od przodu, hot-swap w niektórych obudowach |
| LOM / wbudowana | na płycie głównej | zwykle RJ45; w niektórych SFP+ |
| Mezzanine / blade | serwery blade | łączy się z przełącznikiem obudowy blade, bez klatek |
| SmartNIC / DPU | PCIe albo OCP | 2 × 100/200/400G, własne rdzenie Arm (SmartNIC i DPU) |
Rodziny i producenci
| Producent | Rodziny (modele z portami optycznymi) | Szybkości | Klatki | Sterownik (Linux) |
|---|
| Intel | X520 / X710 / XXV710 / E810 / E830 | 10G / 10G / 25G / 25–100G / 200G | SFP+, SFP28, QSFP28, QSFP56 | ixgbe, i40e, ice, idpf |
| Nvidia (Mellanox) | ConnectX-4 Lx / -5 / -6 Dx / -6 Lx / -7 / -8 SuperNIC | 25G / 100G / 100–200G / 25–50G / 200–400G / 800G | SFP28, QSFP28, QSFP56, QSFP112, OSFP | mlx5_core |
| Broadcom | NetXtreme-E BCM5741x / 5750x (P225, P425, P2100, P1400GD) | 25G / 100–200G / 400G | SFP28, QSFP56, QSFP-DD | bnxt_en |
| Marvell (QLogic) | FastLinQ 41000 / 45000 | 10–25G / 100G | SFP28, QSFP28 | qede |
| AMD (Solarflare, Pensando) | X2522 / X3522; Pensando DSC | 10–25G; 100–200G | SFP28; QSFP56 | sfc; ionic |
| Chelsio | T6 | 10–100G | SFP28, QSFP28 | cxgb4 |
| Inni | Silicom, Napatech (FPGA), Xilinx/AMD Alveo, Netronome | 10–100G | różne | — |
Szybkości dla danego modelu karty są ustalone przez kontroler i klatki; „obsługuje 25G” oznacza 10G i 25G, rzadko 1G (Porty i PCIe).
Czego karta NIC wymaga od modułu
- Kody zgodności dla szybkości, którą kontroler obsługuje na tej klatce.
- Tożsamość, którą akceptuje sterownik — rodziny Intela są tu najbardziej rygorystyczne (Kompatybilność optyki w kartach NIC).
- Zachowanie FEC/AN, które sterownik potrafi dopasować: DAC przy 25G+ wymaga AN Clause 73 po obu stronach; optyka wymaga wymuszonej szybkości i zgodnego FEC (FEC i AN).
- Klasa mocy w granicach budżetu klatki karty — większość kart NIC dopuszcza QSFP28 klasy 4 (3,5 W) i QSFP-DD do 12–15 W; sprawdzić dla modułów ZR/przestrajalnych (Moc i pobór energii).
- Chłodzenie: przepływ powietrza w serwerze prowadzi przez kartę z przodu do tyłu; moduły w kartach skierowanych do tyłu znajdują się w powietrzu wywiewanym (Klasy temperaturowe).
Typowe role i ich optyka
| Rola | NIC | Łącze |
|---|
| Host wirtualizacji ogólnego przeznaczenia | 2 × 25G SFP28 | DAC do ToR (Role i topologie) |
| Storage / NVMe-oF | 2 × 100G QSFP28 | DAC/AOC, RoCE z PFC (Ethernet bezstratny) |
| Serwer GPU | 4–8 × 400G OSFP/QSFP112 (po jednym na GPU) | AOC/DR4 do rail leaf (Okablowanie klastra AI) |
| HPC | HCA InfiniBand 1–2 × NDR/XDR | DAC/AOC (Kable IB) |
| Edge / oddział | 2 × 10G SFP+ | LR do rdzenia kampusowego |
| Zarządzanie / OOB | 1G RJ45 albo SFP | — |
Dalsza lektura
- Porty NIC, szybkości i przepustowość PCIe — klatki w kartach NIC, podwójna szybkość, kable breakout, generacja PCIe × linie a sumaryczna liczba portów, OCP 3.0, zasilanie i chłodzenie.
- Kompatybilność transceiverów w kartach NIC — białe listy sterowników według producenta,
allow_unsupported_sfp Intela, zachowanie Windows/ESXi, FEC/AN z DAC i optyką, co kodować. - Narzędzia i diagnostyka NIC —
ethtool -m, mlxlink, bnxtnvm, narzędzia Intela, polecenia Windows i ESXi, odczyt DDM i liczników FEC z poziomu serwera. - SmartNIC i DPU — BlueField, Pensando, IPU: porty i optyka w programowalnych adapterach.
W CodingBox
Moduł odrzucany przez kartę NIC diagnozuje się tak samo jak ten odrzucany przez przełącznik: odczytaj tożsamość i kody zgodności na stanowisku, porównaj z listą sterownika, zakoduj, jeśli wymaga tego polityka (Check transceiver, Blokada producenta).