English 
简体中文 
繁體中文 
Русский 
Español 
Deutsch 
Français 
Português 
Italiano 
Türkçe 
Polski 
Nederlands 
日本語 
한국어 
Bahasa Indonesia 
Bahasa Melayu 
العربية 
हिन्दी 
Tiếng Việt 
ภาษาไทย 
বাংলা 
اردو 
Kiswahili 
Oʻzbekcha 
አማርኛ 
فارسی Verkabelung eines KI-Clusters: Anzahl, Entfernungen, Medium, Abnahme
Ein GPU-Cluster besteht größtenteils aus Kabeln. Acht GPUs in einem Node bedeuten acht 400G-(oder 800G-)Scale-out-Links plus Management und Storage; tausend GPUs bedeuten Tausende optische Enden über zwei oder drei Switch-Ebenen, jedes einzelne ein potenzieller Trainingsabbruch. Diese Seite übersetzt die Fabric-Designs aus GPU-Fabrics in Kabelmengen, Reichweitenklassen, Steckerwahl und eine Installations-Checkliste.
Links zählen
Für einen typischen 8-GPU-Node mit einer 400G-NIC pro GPU, Rail-optimierte zweistufige Fabric:
| Element | Formel | 1 024 GPUs (128 Nodes) |
|---|---|---|
| GPU-zu-Leaf-Links | GPUs × 1 | 1 024 × 400G |
| Leaf-zu-Spine-Links (non-blocking) | = GPU-zu-Leaf | 1 024 × 400G |
| Optische/Kabel-Enden (zwei pro Link) | Links × 2 | 4 096 |
| Storage- + Management-NICs | 2–4 pro Node | 256–512 weitere Links |
| Ersatzoptik (3–5 %) | — | 150–250 |
Mit NDR-Twin-Port-Switch-Modulen (2 × 400G pro OSFP) halbiert sich die Anzahl auf der Switch-Seite bei den Modulen, nicht bei den Fasern. Dreistufige Designs fügen je 1 024 GPUs weitere 1 024 Spine-zu-Core-Links hinzu. Jedes dieser Enden ist ein Transceiver oder Kabelstecker mit einer Identität und DDM (Link-Zuverlässigkeit & Monitoring).
Distanzen in einem Rail-optimierten Layout
| Segment | Typische Distanz | Medium |
|---|---|---|
| GPU-NIC → Leaf, gleiches Rack | ≤ 2 m | passives DAC (400G ≤ 2 m; 800G ≤ 1–1,5 m) — am günstigsten, keine Leistungsaufnahme, schwer |
| GPU-NIC → Leaf, benachbarte Racks (Rail-Gruppen erstrecken sich über eine Reihe) | 3–10 m | AEC (≤ 3–5 m) oder AOC/SR-Transceiver über MMF |
| Leaf → Spine, gleiche Halle | 10–100 m | AOC bis ~50–100 m; SR4/SR8/VR auf OM4 ≤ 50–100 m; DR4/DR8 auf SMF 500 m — DR setzt sich bei 400G+ durch |
| Spine → Core/zwischen Hallen | 100 m – 2 km | DR4/FR4/2×FR4 Singlemode |
| Gebäudeübergreifendes DCI | 2–80 km | LR4, ZR/ZR+ (Kohärent & Long Haul) |
Rail-optimierte Verkabelung legt GPU i jedes Nodes auf Leaf i, sodass sich die acht Kabel eines Nodes auf acht verschiedene Leaves verteilen — die meisten GPU-zu-Leaf-Links verlassen das Rack, und der DAC-Anteil ist kleiner als bei klassischen ToR-Designs. Details: Kabelaufbau.
Wahl von Steckern und Fasern
| Optik | Stecker | Faser | Anmerkungen |
|---|---|---|---|
| 400G DR4 / 800G DR8 | MPO-12 APC / MPO-16 APC (oder 2 × MPO-12) | SMF, Base-8/Base-16 | APC durchgehend bei parallelem Singlemode; gepinnte Module, ungepinnte Patchkabel |
| 400G/800G SR8 / VR8 | MPO-16 UPC | OM4/OM5 | 50–100 m; günstigere Optik, teurere Faser pro Meter |
| 400G FR4 / 2×FR4 | Duplex-LC / 2 × LC | SMF | weniger Fasern, WDM im Modul |
| NDR-Twin-Port-OSFP | 2 × MPO-12 APC | SMF | zwei logische Ports pro Modul; Split-Kabel 1:2/1:4 (IB-Verkabelung) |
| DAC / AEC | keiner | Twinax | Identität an beiden Enden |
Polaritätsmethode B durchgehend für MPO-Trunks; Base-8-Trunks für 4-Lane-Optik (Breakout- und MPO-Verkabelung).
Leistung und Wärme allein der Optik
| Optik | Leistung | Pro 64-Port-Switch |
|---|---|---|
| 400G DR4 QSFP-DD | 8–12 W | 0,5–0,8 kW |
| 800G DR8 / 2×FR4 OSFP | 14–18 W | 0,9–1,2 kW |
| 400G-AOC-Ende | 3–5 W | — |
| 800G-AEC-Ende | 4–6 W | — |
| DAC | 0 | — |
Switch-Frontplatten brauchen deshalb einen ungehinderten Luftstrom von vorn nach hinten; gerippte OSFP in Switches, Flat-Top in NICs; Kabelbündel dürfen den Lufteinlass nicht blockieren (Leistung & Thermik, Temperatur & Spannung). Lineare (LPO-)Optik senkt die Modulleistung dort, wo der Host sie unterstützt, um etwa die Hälfte (Modulation & DSP).
Installations- und QA-Checkliste
- Eingangsprüfung jeder Optik und jedes Kabelendes: Identität, Prüfsummen, DDM aktiv, Baseline gespeichert (Fertigung & Test).
- Burn-in neuer Optik 24–72 h bei Betriebstemperatur vor der Inbetriebnahme.
- Jeden MPO inspizieren und reinigen (APC-Prüfspitzen für APC) bei der Installation; nie einen ungeprüften Stecker zusammenstecken.
- Beide Enden beschriften: Node/GPU/NIC ↔ Leaf/Port; Split-Kabel pro Abzweig.
- Biegeradius- und Gewichtsmanagement — Wannen und Bündel für DAC/AEC, Serviceschlaufen für Faser.
- Bring-up-Verifikation: jeder Link mit voller Geschwindigkeit und Breite, FEC aktiv, Rx pro Lane innerhalb von 2 dB der Nachbarlanes, Pre-FEC-BER < 10⁻⁷ im Leerlauf (VDM- und FEC-Metriken).
- Erfassen: DDM pro Lane und Identitäten als Baseline im Fabric-Manager/in der CMDB festhalten.
- Ersatzteile nach Medienklasse und Steckertyp; im eingebrannten Zustand vorhalten.
Häufige Installationsfehler
| Fehler | Signatur |
|---|---|
| UPC-Patch an APC-DR4 | alle Lanes 3–10 dB zu niedrig, an beiden Enden |
| Trunk mit falscher Polarität | alle Lanes dunkel |
| Verschmutzter MPO | eine oder zwei Lanes zu niedrig; Pre-FEC-BER auf diesen Lanes hoch |
| DAC zu lang für den Host | Link mit reduzierter Geschwindigkeit oder Flapping |
| Vertauschter Split-Kabel-Abzweig | Ports verbinden sich mit den falschen Partnern; Topologie-Abweichung im Fabric-Manager |
| Gerippter OSFP in Flat-Käfig (oder umgekehrt) | sitzt nicht richtig/überhitzt |
In CodingBox
Eingangsprüfung in diesem Umfang ist ein Workflow, keine Stichprobe: CodingBox liest jedes Modul oder Kabelende aus, verifiziert Identität und Prüfsummen, erfasst die Live-DDM pro Lane als Baseline und speichert sie zur Seriennummer in der Code-Datenbank, sodass sich ein später aus einem flappenden Port gezogenes Modul mit seinem Tag-eins-Zustand vergleichen lässt.