IB-Verkabelung nach Generation: DAC, AOC, Transceiver, Split-Kabel
Ein InfiniBand-Cluster wird nach Reichweitenklasse verkabelt: Kupfer, wo der Switch in Armweite liegt, aktives Kupfer etwas weiter, aktive optische Kabel bis zur nächsten Reihe, Transceiver mit strukturierter Faser für den Rest. Jede Generation hat die Grenzen weiter nach innen verschoben und den Steckverbinder geändert, und NDR brachte Twin-Port-Module und Split-Kabel, die Erstinstallierende verwirren. Diese Seite ist die Verkabelungsreferenz – Reichweiten, Steckverbinder, Split-Konfigurationen, mechanische und Identitätsregeln.
Steckverbinder nach Generation
| Generation | Rate pro Lane | 4x-Port | Steckverbinder | Anmerkungen |
|---|---|---|---|---|
| SDR / DDR | 2,5 / 5 Gb/s | 10 / 20 Gb/s | CX4 (Kupfer), später QSFP | Legacy |
| QDR | 10 Gb/s | 40 Gb/s | QSFP | SFF-8436-Management |
| FDR | 14,06 Gb/s | 56 Gb/s | QSFP+ (FDR-tauglich) | 64B/66B; FEC optional |
| EDR | 25,78 Gb/s | 100 Gb/s | QSFP28 | gleiche Optik wie 100G-Ethernet, andere Codierung |
| HDR | 53,1 Gb/s PAM4 | 200 Gb/s | QSFP56 | 1:2-Splitter zu HDR100 |
| NDR | 106 Gb/s PAM4 | 400 Gb/s | OSFP Twin-Port (2 × 400G pro Modul) an Switches; OSFP oder QSFP112 an HCAs | 800G pro Switch-Käfig |
| XDR | 212 Gb/s PAM4 | 800 Gb/s | OSFP / OSFP-XD | 1.6T pro Switch-Käfig |
Formfaktor-Details: QSFP28, QSFP56, OSFP, QSFP112.
Reichweitenklassen
| Medium | QDR | FDR | EDR | HDR | NDR | Anmerkungen |
|---|---|---|---|---|---|---|
| Passives DAC | ≤ 7 m | ≤ 3–5 m | ≤ 3 m | ≤ 2 m | ≤ 1,5–2 m | Reichweite sinkt mit jeder Generation; dickerer Querschnitt für längere Strecken |
| Aktives Kupfer (ACC/AEC) | — | ≤ 5 m | ≤ 5 m | ≤ 3–4 m | ≤ 3 m | gespeiste Stecker; AEC mit Retimern für NDR |
| AOC | ≤ 100 m (manche 300) | ≤ 100 m | ≤ 100 m | ≤ 100 m | ≤ 30–50 m typisch | 850 nm VCSEL, MMF-Ribbon innen |
| Transceiver SR-Klasse (MMF) | ≤ 300 m | ≤ 100–150 m | ≤ 70–100 m | ≤ 70–100 m | ≤ 50 m (VR) / 100 m (SR) | OM3/OM4, MPO |
| Transceiver DR/FR-Klasse (SMF) | — | — | 500 m – 2 km (PSM4, CWDM4) | 500 m – 2 km | 500 m (DR4) / 2 km (FR4) | MPO-12 APC (DR4), Duplex-LC (FR4) |
Was in jedem Kabeltyp steckt: Kabelaufbau.
NDR-Twin-Port und Split-Kabel
Ein NDR-Switch-Käfig nimmt ein Twin-Port-OSFP-Modul auf = zwei unabhängige 400G-Ports hinter zwei MPO-12/APC- (oder zwei LC-Duplex-)Buchsen. Verkabelungsoptionen ab einem Modul:
| Konfiguration | Kabel | Fernes Ende |
|---|---|---|
| 2 × 400G direkt | zwei MPO-12-APC-Trunks | zwei 400G-NDR-HCA-Ports (OSFP oder QSFP112) oder ein weiterer Switch |
| 1:2-Split (800G → 2 × 400G) | Y-Kabel, ein OSFP-Ende, zwei OSFP/QSFP112-Enden | zwei HCAs – die Standard-Serververbindung |
| 1:4-Split (800G → 4 × 200G) | ein OSFP-Ende, vier QSFP56/QSFP112-Enden | HCAs mit HDR-Geschwindigkeit (NDR200) |
| AOC Twin-Port | ein OSFP-Twin-Port-Ende, zwei OSFP/QSFP112-Enden | bis zu ~30–50 m |
| DAC Twin-Port | ein OSFP-Ende, zwei Enden | ≤ 1,5–2 m; schwer – nur innerhalb eines Racks |
Jeder Split-Zweig ist ein eigenständiger Link mit eigener Aushandlung; der Switch sieht zwei (oder vier) Ports. Die Identitätscodierung muss die gesamte Baugruppe an jedem Ende konsistent beschreiben (Kabelaufbau).
OSFP mit Rippen vs. flach
- OSFP mit geripptem Deckel – integrierter Kühlkörper für Switch-Käfige mit offenem Luftstrom über dem Modul. Passt nicht in einen flachen Käfig.
- OSFP mit flachem Deckel – für HCAs und Käfige mit aufliegendem Kühlkörper. Passt in beide Käfigtypen, kann in einem offenen Switch-Käfig aber heiß laufen.
- QSFP112 an HCAs nutzt dieselbe elektrische NDR-Schnittstelle mit 4 × 106 Gb/s in einer QSFP-Bauform; ein QSFP112-HCA-Port wird mit einem Split-Kabel von einem OSFP-Switch gepaart.
Thermische Folgen: Leistung & Thermik.
Mechanische Regeln
| Regel | Warum |
|---|---|
| Biegeradius einhalten (DAC ≥ 10× Durchmesser; AOC/Faser ≥ 30 mm) | gequetschtes Twinax → Lane-Fehler; geknickte Faser → Rx-Verlust |
| Kabelgewicht abstützen – Twin-Port-DACs sind schwer | zieht am Käfig, Wackelkontakt, gerissene Paddle Cards |
| Gepinnt/ungepinnt und APC bei jedem MPO | Breakout & MPO-Verkabelung |
| Jedes MPO vor dem Einstecken reinigen und inspizieren | ein Partikel kostet eine Lane 1–3 dB |
| Staubschutzkappen auf unbenutzten Käfigen und Steckverbindern lassen | Verschmutzung ist die Hauptursache für Lane-Ausfälle |
| Fernab von heißer Abluft verlegen | AOC-Engines und AEC-Stecker altern mit der Temperatur |
Identität und Herstellerrichtlinie
InfiniBand-Switches und -HCAs des dominierenden Herstellers validieren Kabel und Transceiver gegen eine Liste unterstützter Teile und lesen deren Kabelinfo (Hersteller, PN, SN, Länge, Technologie) in den Fabric-Manager ein. Ein nicht validiertes Kabel kann mit reduzierter Geschwindigkeit verlinken oder markiert werden; ein mit falscher Länge oder Ratenklasse codiertes Kabel kann bei der Aushandlung scheitern. Die Identitätsbytes sind die Standardfelder aus SFF-8636/CMIS plus die InfiniBand-Ratenangaben (Compliance-Codes, Herstellersperre).
Bestandspraxis
- Beide Enden mit dem Link beschriften (Switch/Port ↔ Host/Port); Split-Kabel brauchen Labels je Zweig.
- Hersteller, PN, SN und Länge pro Kabel im Fabric-Manager oder in der CMDB erfassen; die Daten bei der Wareneingangsprüfung aus
mlxcablesoder aus CodingBox ziehen. - Ersatzteile nach Reichweitenklasse und Steckverbinder vorhalten; NDR-Twin-Port- und Split-Varianten sind nicht mit einfachem 400G austauschbar.
- Neue Optik vor der Inbetriebnahme einbrennen (Link-Zuverlässigkeit & Monitoring).
In CodingBox
Kabelenden und Transceiver werden wie jedes andere Modul ausgelesen: Identität mit Kabellänge, Technologie und Ratenklasse, DDM je Lane für AOC und Optik, CMIS-Status für NDR-Module (Check transceiver, DDM). Jeden Zweig eines Split-Kabels vor der Installation auszulesen, deckt das falsch zugeordnete Ende auf, das sonst mit der falschen Geschwindigkeit verlinken würde.
Die Module der XDR-Generation im Detail: OSFP224 und OSFP-XD.
Wie HCAs und NIC-Treiber diese Kabel validieren, und die Tools, die das Ergebnis vom Host aus anzeigen: Transceiver-Kompatibilität bei NICs, NIC-Tools und -Diagnose.