English 
简体中文 
繁體中文 
Русский 
Español 
Deutsch 
Français 
Português 
Italiano 
Türkçe 
Polski 
Nederlands 
日本語 
한국어 
Bahasa Indonesia 
Bahasa Melayu 
العربية 
हिन्दी 
Tiếng Việt 
ภาษาไทย 
বাংলা 
اردو 
Kiswahili 
Oʻzbekcha 
አማርኛ 
فارسی Een AI-cluster bekabelen: aantallen, afstanden, media, kwaliteitscontrole
Een GPU-cluster bestaat grotendeels uit kabels. Acht GPU's in een node betekenen acht 400G- (of 800G-)scale-outlinks plus beheer en opslag; duizend GPU's betekenen duizenden optische uiteinden over twee of drie switchlagen, elk een mogelijke oorzaak van stilvallende training. Deze pagina vertaalt de fabricontwerpen van GPU-fabrics naar kabelaantallen, bereikklassen, connectorkeuzes en een installatiechecklist.
Links tellen
Voor een typische 8-GPU-node met één 400G-NIC per GPU en een railgeoptimaliseerde fabric met twee lagen:
| Onderdeel | Formule | 1 024 GPU's (128 nodes) |
|---|---|---|
| GPU-naar-leaf-links | GPU's × 1 | 1 024 × 400G |
| Leaf-naar-spine-links (niet-blokkerend) | = GPU-naar-leaf | 1 024 × 400G |
| Optische/kabel-uiteinden (twee per link) | links × 2 | 4 096 |
| Opslag- + beheer-NIC's | 2–4 per node | 256–512 extra links |
| Reserve-optiek (3–5 %) | — | 150–250 |
Met NDR-switchmodules met twee poorten (2 × 400G per OSFP) halveert het aantal switchmodules, maar niet het aantal glasvezels. Ontwerpen met drie lagen voegen per 1 024 GPU's nog eens 1 024 spine-naar-core-links toe. Elk van deze uiteinden is een transceiver of kabelstekker met een identiteit en DDM (Linkbetrouwbaarheid en monitoring).
Afstanden in een railgeoptimaliseerde opstelling
| Segment | Typische afstand | Medium |
|---|---|---|
| GPU-NIC → leaf, hetzelfde rack | ≤ 2 m | passieve DAC (400G ≤ 2 m; 800G ≤ 1–1,5 m) — goedkoopst, geen vermogen, zwaar |
| GPU-NIC → leaf, aangrenzende racks (railgroepen beslaan een rij) | 3–10 m | AEC (≤ 3–5 m) of AOC / SR-transceivers over MMF |
| Leaf → spine, dezelfde hal | 10–100 m | AOC tot ~50–100 m; SR4/SR8 / VR op OM4 ≤ 50–100 m; DR4/DR8 op SMF 500 m — DR wint terrein bij 400G+ |
| Spine → core / tussen hallen | 100 m – 2 km | DR4 / FR4 / 2×FR4 singlemode |
| DCI tussen gebouwen | 2–80 km | LR4, ZR/ZR+ (Coherent en lange afstand) |
Bij railgeoptimaliseerde bekabeling wordt GPU i van elke node op leaf i aangesloten, zodat de acht kabels van een node naar acht verschillende leafs uitwaaieren. De meeste GPU-naar-leaf-links verlaten het rack en het aandeel DAC is kleiner dan in klassieke ToR-ontwerpen. Details: Kabelopbouw.
Connector- en glasvezelkeuzes
| Optiek | Connector | Glasvezel | Opmerkingen |
|---|---|---|---|
| 400G DR4 / 800G DR8 | MPO-12 APC / MPO-16 APC (of 2 × MPO-12) | SMF, Base-8/Base-16 | Overal APC bij singlemode-parallelverbindingen; modules met pennen, patchkabels zonder pennen |
| 400G/800G SR8 / VR8 | MPO-16 UPC | OM4/OM5 | 50–100 m; goedkopere optiek, duurdere glasvezel per meter |
| 400G FR4 / 2×FR4 | duplex LC / 2 × LC | SMF | minder glasvezels, WDM in de module |
| NDR OSFP met twee poorten | 2 × MPO-12 APC | SMF | twee logische poorten per module; splitskabels 1:2 / 1:4 (IB-bekabeling) |
| DAC / AEC | geen | twinax | identiteit aan beide uiteinden |
Polariteitsmethode B van eind tot eind voor MPO-trunks; Base-8-trunks voor optiek met 4 lanes (Breakout- en MPO-bekabeling).
Vermogen en warmte van alleen de optiek
| Optiek | Vermogen | Per switch met 64 poorten |
|---|---|---|
| 400G DR4 QSFP-DD | 8–12 W | 0,5–0,8 kW |
| 800G DR8 / 2×FR4 OSFP | 14–18 W | 0,9–1,2 kW |
| 400G AOC-uiteinde | 3–5 W | — |
| 800G AEC-uiteinde | 4–6 W | — |
| DAC | 0 | — |
Switchfrontplaten hebben daarom onbelemmerde luchtstroom van voor naar achter nodig; OSFP's met koelribben in switches, met vlakke bovenzijde in NIC's. Kabelbundels mogen de inlaat niet blokkeren (Vermogen en thermiek, Temperatuur en spanning). Lineaire optiek (LPO) halveert het modulevermogen ongeveer wanneer de host dit ondersteunt (Modulatie en DSP).
Checklist voor installatie en QA
- Inkomende inspectie van elke optische module en elk kabeluiteinde: identiteit, checksums, actieve DDM, baseline opgeslagen (Productie en testen).
- Nieuwe optiek inbranden gedurende 24–72 h bij bedrijfstemperatuur vóór implementatie.
- Inspecteer en reinig elke MPO (APC-scooptips voor APC) bij installatie; koppel nooit een niet-geïnspecteerde connector.
- Label beide uiteinden: node/GPU/NIC ↔ leaf/poort; splitskabels per aftakking.
- Beheer van buigradius en gewicht: trays en bundels voor DAC/AEC, servicelussen voor glasvezel.
- Opstartverificatie: elke link op volledige snelheid en breedte, FEC aan, Rx per lane binnen 2 dB van de andere lanes, pre-FEC BER < 10⁻⁷ in rust (VDM- en FEC-metrieken).
- Registreer DDM en identiteiten per lane in de fabricmanager / CMDB als baseline.
- Reserveonderdelen per mediaklasse en connector; houd ze ingebrand.
Veelvoorkomende installatiefouten
| Storing | Kenmerk |
|---|---|
| UPC-patch op APC DR4 | alle lanes 3–10 dB laag, aan beide uiteinden |
| Trunk met verkeerde polariteit | alle lanes donker |
| Vervuilde MPO | één of twee lanes laag; hoge pre-FEC BER op die lanes |
| DAC te lang voor de host | link op gereduceerde snelheid of met link flapping |
| Aftakking van splitskabel verwisseld | poorten linken met de verkeerde peers; topologie wijkt af in de fabricmanager |
| OSFP met koelribben in vlakke cage (of omgekeerd) | past niet goed / raakt oververhit |
In CodingBox
Inkomende inspectie op deze schaal is een workflow, geen steekproef: CodingBox leest elke module of elk kabeluiteinde uit, verifieert identiteit en checksums, registreert live DDM per lane als baseline en slaat die bij het serienummer op in de codedatabase. Zo kan een module die later uit een poort met link flapping wordt gehaald, worden vergeleken met de toestand op de eerste dag.