IB-bekabeling per generatie: DAC, AOC, transceivers, splitkabels
Een InfiniBand-cluster wordt bekabeld per bereikklasse: koper wanneer de switch binnen handbereik staat, actief koper iets verder, actieve optische kabels naar de volgende rij, transceivers met gestructureerde glasvezel voor de rest. Elke generatie verschoof de grenzen naar binnen en veranderde de connector, en NDR voegde twin-port- modules en splitkabels toe die beginnende installateurs kunnen verwarren. Deze pagina is het naslagwerk voor bekabeling: bereiken, connectoren, splitconfiguraties, mechanische regels en identiteitsregels.
Connectoren per generatie
| Generatie | Snelheid per lane | 4x-poort | Connector | Opmerkingen |
|---|---|---|---|---|
| SDR / DDR | 2,5 / 5 Gb/s | 10 / 20 Gb/s | CX4 (koper), later QSFP | verouderd |
| QDR | 10 Gb/s | 40 Gb/s | QSFP | SFF-8436-beheer |
| FDR | 14,06 Gb/s | 56 Gb/s | QSFP+ (geschikt voor FDR) | 64B/66B; FEC optioneel |
| EDR | 25,78 Gb/s | 100 Gb/s | QSFP28 | zelfde optiek als 100G Ethernet, andere codering |
| HDR | 53,1 Gb/s PAM4 | 200 Gb/s | QSFP56 | 1:2-splitters naar HDR100 |
| NDR | 106 Gb/s PAM4 | 400 Gb/s | OSFP twin-port (2 × 400G per module) op switches; OSFP of QSFP112 op HCA's | 800G per switch-cage |
| XDR | 212 Gb/s PAM4 | 800 Gb/s | OSFP / OSFP-XD | 1.6T per switch-cage |
Details over vormfactoren: QSFP28, QSFP56, OSFP, QSFP112.
Bereikklassen
| Medium | QDR | FDR | EDR | HDR | NDR | Opmerkingen |
|---|---|---|---|---|---|---|
| Passieve DAC | ≤ 7 m | ≤ 3–5 m | ≤ 3 m | ≤ 2 m | ≤ 1,5–2 m | bereik neemt per generatie af; dikkere aderdiameter voor langere trajecten |
| Actief koper (ACC/AEC) | — | ≤ 5 m | ≤ 5 m | ≤ 3–4 m | ≤ 3 m | gevoede stekkers; AEC met retimers voor NDR |
| AOC | ≤ 100 m (sommige 300) | ≤ 100 m | ≤ 100 m | ≤ 100 m | doorgaans ≤ 30–50 m | 850 nm VCSEL, MMF-lint binnenin |
| Transceiver van de SR-klasse (MMF) | ≤ 300 m | ≤ 100–150 m | ≤ 70–100 m | ≤ 70–100 m | ≤ 50 m (VR) / 100 m (SR) | OM3/OM4, MPO |
| Transceiver van de DR/FR-klasse (SMF) | — | — | 500 m – 2 km (PSM4, CWDM4) | 500 m – 2 km | 500 m (DR4) / 2 km (FR4) | MPO-12 APC (DR4), duplex LC (FR4) |
Wat er in elk kabeltype zit: Inwendige opbouw van kabels.
NDR twin-port en splitkabels
Een NDR-switch-cage bevat één twin-port OSFP-module = twee onafhankelijke 400G-poorten achter twee MPO-12/APC- (of twee LC-duplex-)aansluitingen. Bekabelingsopties vanaf één module:
| Configuratie | Kabel | Andere uiteinde |
|---|---|---|
| 2 × 400G rechtstreeks | twee MPO-12 APC-trunks | twee 400G NDR HCA-poorten (OSFP of QSFP112) of een andere switch |
| 1:2-split (800G → 2 × 400G) | Y-kabel, één OSFP-uiteinde, twee OSFP/QSFP112-uiteinden | twee HCA's — de standaard serververbinding |
| 1:4-split (800G → 4 × 200G) | één OSFP-uiteinde, vier QSFP56/QSFP112-uiteinden | HCA's op HDR-snelheid (NDR200) |
| AOC twin-port | één OSFP twin-port-uiteinde, twee OSFP/QSFP112-uiteinden | tot ongeveer 30–50 m |
| DAC twin-port | één OSFP-uiteinde, twee uiteinden | ≤ 1,5–2 m; zwaar — alleen binnen een rack |
Elke split-tak is een afzonderlijke link met een eigen onderhandeling; de switch ziet twee (of vier) poorten. De identiteitscodering moet bij elk uiteinde de volledige assemblage consistent beschrijven (Inwendige opbouw van kabels).
OSFP met koelribben of vlak bovenvlak
- OSFP met koelribben — geïntegreerd koellichaam voor switch-cages met een open luchtstroom boven de module. Past niet in een vlakke cage.
- OSFP met vlak bovenvlak — voor HCA's en cages met een bovenliggend koellichaam. Past in beide cages, maar kan in een open switch-cage te warm worden.
- QSFP112 op HCA's deelt de NDR-elektrische interface met 4 × 106 Gb/s in een QSFP-behuizing; een QSFP112-HCA-poort past bij een splitkabel vanaf een OSFP-switch.
Thermische gevolgen: Vermogen en temperatuur.
Mechanische regels
| Regel | Waarom |
|---|---|
| Houd de buigradius aan (DAC ≥ 10× diameter; AOC/glasvezel ≥ 30 mm) | geplette twinax → lane-fouten; gebogen glasvezel → Rx-verlies |
| Ondersteun het kabelgewicht — twin-port DAC's zijn zwaar | trekt aan de cage, onderbroken contact, gebarsten paddle cards |
| Gepind/niet-gepind en APC bij elke MPO | Breakout- en MPO-bekabeling |
| Reinig en inspecteer elke MPO vóór het insteken | één deeltje kost een lane 1–3 dB |
| Houd stofdoppen op ongebruikte cages en connectoren | vervuiling is de belangrijkste oorzaak van lane-storingen |
| Leg kabels niet bij hete uitlaatlucht | AOC-engines en AEC-stekkers verouderen door temperatuur |
Identiteit en fabrikantbeleid
InfiniBand-switches en HCA's van de dominante fabrikant valideren kabels en transceivers aan de hand van een ondersteunde lijst en lezen hun kabelinformatie (fabrikant, PN, SN, lengte, technologie) in de fabric manager. Een niet-gevalideerde kabel kan linken op een lagere snelheid of worden gemarkeerd; bij een kabel met de verkeerde lengte of snelheidsklasse kan de onderhandeling mislukken. De identiteitsbytes bestaan uit de standaardvelden van SFF-8636/CMIS plus de InfiniBand-snelheidsdeclaraties (Conformiteitscodes, Fabrikantvergrendeling).
Werkwijze voor voorraadbeheer
- Label beide uiteinden met de link (switch/poort ↔ host/poort); splitkabels hebben labels per tak nodig.
- Registreer fabrikant, PN, SN en lengte per kabel in de fabric manager of CMDB; haal de gegevens op met
mlxcablesof met CodingBox tijdens de inkomende inspectie. - Houd reserveonderdelen per bereikklasse en connector aan; NDR-twin-port- en splitvarianten zijn niet uitwisselbaar met gewone 400G.
- Laat nieuwe optiek proefdraaien vóór ingebruikname (Linkbetrouwbaarheid en monitoring).
In CodingBox
Kabeluiteinden en transceivers worden gelezen zoals elke module: identiteit met kabellengte, technologie en snelheidsklasse, DDM per lane voor AOC en optiek, CMIS-status voor NDR-modules (Check transceiver, DDM). Door vóór de installatie elke tak van een splitkabel te lezen, vindt u het niet-passende uiteinde dat anders op de verkeerde snelheid zou linken.
De modules van de XDR-generatie in detail: OSFP224 en OSFP-XD.
Hoe HCA's en NIC-drivers deze kabels valideren en welke tools het resultaat op de host tonen: Transceivercompatibiliteit op NIC's, NIC-tools en diagnostiek.