NIC’s met optische poorten: een overzicht · Netwerkinterfacekaarten · Netwerkkaarten en switches · Documentatie · CodingBox
CodingBox Documentatie

NIC’s met optische poorten: een overzicht

Aan het andere eind van elke serverlink zit een netwerkinterfacekaart (NIC). Die speelt hetzelfde spel als de switch — cages, SerDes-lanes, een beheerbus naar de module, beleid over geaccepteerde modules — met twee verschillen: het beleid zit in een driver, niet in een netwerk-OS, en PCIe is vaak de bottleneck, niet de poort. Dit onderdeel behandelt NIC's met cages uit de SFP/QSFP-klasse: families en fabrikanten, de relatie tussen poorten en PCIe, transceivercompatibiliteit en overrides op driverniveau, tools die een module aan serverzijde lezen en programmeerbare adapters (SmartNICs, DPU's) die de grens tussen kaart en switch vervagen.

Serverpad: CPU, PCIe, NIC-controller en driver, cage, module of DAC, switchpoort

Wat een NIC is, in termen van optische modules

ElementOp een switchOp een NIC
Cages24–64 per behuizing1–4 per kaart (1–2 is gebruikelijk)
SerDesforwarding-ASICNIC-controller-ASIC (Intel E810, Broadcom BCM57508, Nvidia ConnectX-7…)
ModulebeheerNOS via I²C-mux en CPLDdriver/firmware via de I²C van de controller
BeleidNOS-whitelist (Hoe elk NOS een module valideert)driver-/firmwarewhitelist (Compatibiliteit van optische modules op NIC's)
Snelheid/FEC-configuratieCLIethtool, fabrikanttools, BIOS/UEFI, apparaatbeheer van OS (NIC-tools en diagnostiek)
Backhaulfabric-ASICPCIe-lanes naar de CPU (Poorten & PCIe)
Voeding3,3 V per cage vanuit chassisPCIe-slot (25–75 W) plus hulpconnector op kaarten uit het topsegment

Vormfactoren van de kaart

KaarttypeWaarPoorten
PCIe-uitbreidingskaart (half-height half-length, full-height)ieder serverslot1–2 × SFP28/QSFP28, 1–2 × QSFP56/QSFP112/QSFP-DD/OSFP
OCP NIC 3.0 (SFF / LFF-mezzanine)OCP-slot aan de achterzijde van de serverdezelfde cages, aan voorkant toegankelijk, in sommige chassis hot-swap
LOM / embeddedop moederbordmeestal RJ45; SFP+ op sommige
Mezzanine / bladebladeserversverbinding met bladeswitch in chassis, geen cages
SmartNIC / DPUPCIe of OCP2 × 100/200/400G, eigen Arm-cores (SmartNICs & DPU's)

Families en fabrikanten

FabrikantFamilies (modellen met optische poort)SnelhedenCagesDriver (Linux)
IntelX520 / X710 / XXV710 / E810 / E83010G / 10G / 25G / 25–100G / 200GSFP+, SFP28, QSFP28, QSFP56ixgbe, i40e, ice, idpf
Nvidia (Mellanox)ConnectX-4 Lx / -5 / -6 Dx / -6 Lx / -7 / -8 SuperNIC25G / 100G / 100–200G / 25–50G / 200–400G / 800GSFP28, QSFP28, QSFP56, QSFP112, OSFPmlx5_core
BroadcomNetXtreme-E BCM5741x / 5750x (P225, P425, P2100, P1400GD)25G / 100–200G / 400GSFP28, QSFP56, QSFP-DDbnxt_en
Marvell (QLogic)FastLinQ 41000 / 4500010–25G / 100GSFP28, QSFP28qede
AMD (Solarflare, Pensando)X2522 / X3522; Pensando DSC10–25G; 100–200GSFP28; QSFP56sfc; ionic
ChelsioT610–100GSFP28, QSFP28cxgb4
OverigeSilicom, Napatech (FPGA), Xilinx/AMD Alveo, Netronome10–100Ggemengd—

Snelheden per kaartmodel liggen vast door de controller en cages; ‘geschikt voor 25G’ betekent 10G en 25G, zelden 1G (Poorten & PCIe).

Wat de NIC van een module nodig heeft

  • Conformiteitscodes voor een snelheid die de controller bij die cage ondersteunt.
  • Identiteit die de driver accepteert; Intel-families zijn de strikte (Compatibiliteit van optische modules op NIC's).
  • FEC/AN-gedrag waarmee de driver kan overeenkomen: DAC bij 25G+ vereist Clause 73 AN aan beide uiteinden; optische modules hebben geforceerde snelheid en overeenkomende FEC nodig (FEC & AN).
  • Vermogensklasse binnen het cagebudget van de kaart: de meeste NIC's staan QSFP28 klasse 4 (3,5 W) en QSFP-DD tot 12–15 W toe; controleer dit bij ZR-/afstembare modules (Vermogen & verbruik).
  • Koeling: serverluchtstroom loopt van voor naar achter door de kaart; modules op kaarten die naar achteren zijn gericht bevinden zich in uitlaatlucht (Temperatuurklassen).

Typische rollen en hun optische modules

RolNICLink
Algemene virtualisatiehost2 × 25G SFP28DAC naar ToR (Rollen & topologieën)
Storage / NVMe-oF2 × 100G QSFP28DAC/AOC, RoCE met PFC (Lossless Ethernet)
GPU-server4–8 × 400G OSFP/QSFP112 (één per GPU)AOC/DR4 naar rail-leaves (Bekabeling voor een AI-cluster)
HPCInfiniBand-HCA 1–2 × NDR/XDRDAC/AOC (IB-kabels)
Edge / vestiging2 × 10G SFP+LR naar campuskern
Beheer / OOB1G RJ45 of SFP—

Verder lezen

In CodingBox

Een module die een NIC afwijst, wordt net zo gediagnosticeerd als een module die een switch afwijst: lees identiteit en conformiteitscodes op de werkbank, vergelijk ze met de lijst van de driver en codeer als het beleid dat vereist (Check transceiver, Fabrikantvergrendeling).


Vindt u een onjuistheid of fout in dit materiaal? Selecteer het betreffende fragment en druk op Ctrl+Enter om .