Cablaggio IB per generazione: DAC, AOC, ricetrasmettitori, cavi split
Un cluster InfiniBand si cabla per classe di portata: rame dove lo switch è a portata di mano, rame attivo un po’ più lontano, cavi ottici attivi fino alla fila successiva, ricetrasmettitori con fibra strutturata per il resto. Ogni generazione ha spostato i confini verso l’interno e cambiato il connettore, e NDR ha aggiunto moduli twin-port e cavi split che confondono chi installa per la prima volta. Questa pagina è il riferimento per il cablaggio — portate, connettori, configurazioni split, regole meccaniche e di identità.
Connettori per generazione
| Generazione | Rate per lane | Porta 4x | Connettore | Note |
|---|---|---|---|---|
| SDR / DDR | 2,5 / 5 Gb/s | 10 / 20 Gb/s | CX4 (rame), poi QSFP | legacy |
| QDR | 10 Gb/s | 40 Gb/s | QSFP | gestione SFF-8436 |
| FDR | 14,06 Gb/s | 56 Gb/s | QSFP+ (omologato FDR) | 64B/66B; FEC opzionale |
| EDR | 25,78 Gb/s | 100 Gb/s | QSFP28 | stesse ottiche del 100G Ethernet, codifica diversa |
| HDR | 53,1 Gb/s PAM4 | 200 Gb/s | QSFP56 | splitter 1:2 verso HDR100 |
| NDR | 106 Gb/s PAM4 | 400 Gb/s | OSFP twin-port (2 × 400G per modulo) sugli switch; OSFP o QSFP112 sulle HCA | 800G per gabbia switch |
| XDR | 212 Gb/s PAM4 | 800 Gb/s | OSFP / OSFP-XD | 1,6T per gabbia switch |
Dettagli sui fattori di forma: QSFP28, QSFP56, OSFP, QSFP112.
Classi di portata
| Mezzo | QDR | FDR | EDR | HDR | NDR | Note |
|---|---|---|---|---|---|---|
| DAC passivo | ≤ 7 m | ≤ 3–5 m | ≤ 3 m | ≤ 2 m | ≤ 1,5–2 m | la portata si riduce a ogni generazione; sezione più spessa per le tratte più lunghe |
| Rame attivo (ACC/AEC) | — | ≤ 5 m | ≤ 5 m | ≤ 3–4 m | ≤ 3 m | connettori alimentati; AEC con retimer per NDR |
| AOC | ≤ 100 m (alcuni 300) | ≤ 100 m | ≤ 100 m | ≤ 100 m | ≤ 30–50 m tipico | VCSEL a 850 nm, nastro MMF interno |
| Ricetrasmettitore classe SR (MMF) | ≤ 300 m | ≤ 100–150 m | ≤ 70–100 m | ≤ 70–100 m | ≤ 50 m (VR) / 100 m (SR) | OM3/OM4, MPO |
| Ricetrasmettitore classe DR/FR (SMF) | — | — | 500 m – 2 km (PSM4, CWDM4) | 500 m – 2 km | 500 m (DR4) / 2 km (FR4) | MPO-12 APC (DR4), LC duplex (FR4) |
Cosa c’è dentro ogni tipo di cavo: Interno dei cavi.
Twin-port e cavi split NDR
Una gabbia switch NDR ospita un modulo OSFP twin-port = due porte indipendenti da 400G dietro due prese MPO-12/APC (o due LC duplex). Le opzioni di cablaggio da un singolo modulo:
| Configurazione | Cavo | Estremità opposta |
|---|---|---|
| 2 × 400G diretto | due trunk MPO-12 APC | due porte HCA NDR da 400G (OSFP o QSFP112) o un altro switch |
| Split 1:2 (800G → 2 × 400G) | cavo a Y, un’estremità OSFP, due estremità OSFP/QSFP112 | due HCA — la connessione server standard |
| Split 1:4 (800G → 4 × 200G) | un’estremità OSFP, quattro estremità QSFP56/QSFP112 | HCA a velocità HDR (NDR200) |
| AOC twin-port | un’estremità OSFP twin-port, due estremità OSFP/QSFP112 | fino a ~30–50 m |
| DAC twin-port | un’estremità OSFP, due estremità | ≤ 1,5–2 m; pesante — solo all’interno del rack |
Ogni ramo dello split è un collegamento separato con una propria negoziazione; lo switch vede due (o quattro) porte. La codifica di identità deve descrivere l’intero assemblaggio in modo coerente a ogni estremità (Interno dei cavi).
OSFP alettato o piatto
- OSFP alettato — dissipatore integrato per gabbie switch con flusso d’aria libero sopra il modulo. Non entra in una gabbia piatta.
- OSFP piatto — per HCA e gabbie con dissipatore flottante. Entra in entrambi i tipi di gabbia, ma in una gabbia switch aperta può scaldarsi troppo.
- QSFP112 sulle HCA condivide l’interfaccia elettrica NDR a 4 × 106 Gb/s in un ingombro QSFP; una porta HCA QSFP112 si abbina a un cavo split da uno switch OSFP.
Conseguenze termiche: Potenza e termica.
Regole meccaniche
| Regola | Perché |
|---|---|
| Rispetta il raggio di curvatura (DAC ≥ 10× il diametro; AOC/fibra ≥ 30 mm) | twinax schiacciato → errori di lane; fibra piegata → perdita Rx |
| Sostieni il peso del cavo — i DAC twin-port sono pesanti | tira sulla gabbia, contatto intermittente, paddle card incrinate |
| Pinned/unpinned e APC su ogni MPO | Breakout e cablaggio MPO |
| Pulisci e ispeziona ogni MPO prima dell’inserimento | una particella costa a una lane 1–3 dB |
| Tieni i tappi antipolvere su gabbie e connettori inutilizzati | la contaminazione è la prima causa di guasti di lane |
| Instrada lontano dagli scarichi caldi | i motori AOC e i connettori AEC invecchiano con la temperatura |
Identità e politica del produttore
Gli switch e le HCA InfiniBand del produttore dominante convalidano cavi e ricetrasmettitori rispetto a un elenco supportato e leggono le loro informazioni sul cavo (produttore, PN, SN, lunghezza, tecnologia) nel fabric manager. Un cavo non convalidato può collegarsi a velocità ridotta o essere segnalato; un cavo codificato con la lunghezza o la classe di rate sbagliate può fallire la negoziazione. I byte di identità sono i campi standard SFF-8636/CMIS più le dichiarazioni di rate InfiniBand (Codici di conformità, Blocco del produttore).
Prassi di inventario
- Etichetta entrambe le estremità con il collegamento (switch/porta ↔ host/porta); i cavi split richiedono etichette per ogni ramo.
- Registra produttore, PN, SN e lunghezza per ogni cavo nel fabric manager o nel CMDB; ricava i dati da
mlxcableso da CodingBox in fase di controllo in ingresso. - Conserva le scorte per classe di portata e connettore; le varianti twin-port e split NDR non sono intercambiabili con il 400G semplice.
- Sottoponi le ottiche nuove a burn-in prima della messa in servizio (Affidabilità e monitoraggio dei collegamenti).
In CodingBox
Le estremità dei cavi e i ricetrasmettitori si leggono come qualsiasi modulo: identità con lunghezza del cavo, tecnologia e classe di rate, DDM per lane per AOC e ottiche, stato CMIS per i moduli NDR (Check transceiver, DDM). Leggere ogni ramo di un cavo split prima dell’installazione individua l’estremità sbagliata che altrimenti si collegherebbe alla velocità errata.
I moduli della generazione XDR nel dettaglio: OSFP224 e OSFP-XD.
Come le HCA e i driver NIC convalidano questi cavi, e gli strumenti che mostrano il risultato dal lato host: Compatibilità dei ricetrasmettitori sulle NIC, Strumenti e diagnostica NIC.