Optische modules en kabels voor InfiniBand

InfiniBand gebruikt dezelfde insteekbehuizingen als Ethernet met hoge snelheid, maar de keuze tussen kabel en transceiver, en de tolerantie voor modules van derden, volgt eigen regels die zijn gevormd door HPC- en AI-clusters.

Kabel of transceiver, per generatie

Generatie	Poort	Koperen DAC	Actieve optische kabel	Transceiver + glasvezel
EDR 100G	QSFP28	tot ongeveer 3–5 m	tot 100 m	SR4 (MPO-12 MMF), LR4
HDR 200G	QSFP56	tot ongeveer 2 m	tot 100 m	SR4/DR4
NDR 400G	OSFP (twin-port 2×400G)	ongeveer 1–2 m	beperkt	DR4/DR8 op singlemode MPO-12 APC

Het patroon: naarmate de snelheid stijgt, neemt het bereik van passief koper sterk af en schakelen fabrics over op optiek. Bij NDR is singlemode DR-optiek met MPO-12 APC- connectoren de norm: de schuine polijsting is verplicht en het combineren van APC met vlakke UPC-connectoren is een veelgemaakte installatiefout.

Twin-port OSFP

NDR-switchpoorten zijn doorgaans twin-port OSFP: één OSFP-module draagt twee onafhankelijke 400G-links (2×DR4) en verdubbelt daarmee de dichtheid op het frontpaneel. Een geïntegreerd koellichaam met koelribben verwerkt het vermogen. Zie OSFP.

Signaaloverdracht en FEC

EDR: NRZ-lanes van 25G; HDR: PAM4 van 50G; NDR: PAM4 van 100G.
RS-FEC is verplicht vanaf HDR. Een FEC-mismatch of een module die de verwachte FEC niet adverteert, veroorzaakt vaak dat een link nooit tot stand komt.

Fabrikantbeleid

InfiniBand-fabrics worden gedomineerd door één switch-/NIC-fabrikant en de platforms van die fabrikant valideren kabels en optiek op identiteit. Een module die niet wordt herkend, kan correct worden uitgelezen maar toch niet linken met een status als “speed and type: Not supported”. Zie Fabrikantvergrendeling. Beheerders houden daarom gekwalificeerde optiek op voorraad en coderen modules van derden, waar die worden gebruikt, met de verwachte identiteit.

Werken op schaal

Duizenden optische modules per cluster: zelfs een kleine jaarlijkse uitval betekent een gestage stroom vervangingen. Volg DDM per lane om een verslechterende lane te vinden voordat die een collectieve bewerking vertraagt.
Vervuiling op MPO-eindvlakken is de belangrijkste oorzaak van flaps. Zie CMIS-problemen voor bijzonderheden over 400G.

In CodingBox

CodingBox leest EDR/HDR-modules volgens SFF-8636 en NDR OSFP/QSFP-DD volgens CMIS: identiteit, moduletoestand, DDM per lane en de identiteitsvelden die bepalen of een fabric de module accepteert.

Vindt u een onjuistheid of fout in dit materiaal? Selecteer het betreffende fragment en druk op Ctrl+Enter om .