Topologien von GPU-Fabrics

Das Netz eines KI-Clusters ist in Schichten aufgebaut, und jede Schicht nutzt andere Interconnects — und andere Optik. Wer die Schichten versteht, versteht auch, warum ein Cluster so viele Transceiver hat und wo ein defekter am meisten schadet.

Scale-up vs. Scale-out

Steckbare Transceiver stecken größtenteils in der Scale-out-Schicht — jeder GPU-Server hat mehrere 400G/800G-Ports zur Fabric, dazu separates Front-End-/Storage-Networking.

Fat-Tree und Non-Blocking

Die Scale-out-Fabric ist meist ein Fat-Tree (Clos): Leaf-Switches verbinden Server, Spine-Switches verbinden Leaves, mit genug Leaf-Spine-Uplinks, damit jeder Server mit jedem anderen mit voller Rate sprechen kann (non-blocking). Der Großteil der Optik eines Clusters steckt in diesen Leaf-Spine- und Server-Leaf-Links — Tausende identischer DR4/DR8-Module.

Rail-optimiertes Design

Trainingsverkehr wird von kollektiven Operationen zwischen GPUs desselben Rangs über mehrere Server hinweg dominiert. Eine Rail-optimierte Topologie nutzt das aus: GPU 0 jedes Servers verbindet sich mit Leaf-Switch 0, GPU 1 mit Leaf 1 und so weiter, sodass GPUs desselben Rangs einen Hop voneinander entfernt sind und kollektive Operationen nie den Spine kreuzen. Die Folge für die Optik: Ein Fehler auf einer einzelnen Rail betrifft dieselbe GPU-Position in jedem Server — ein Muster, das sich zu erkennen lohnt.

Getrennte Netze

Ein Cluster betreibt typischerweise mehrere physisch getrennte Fabrics:

• Compute-Fabric — GPU-zu-GPU (IB oder RoCE), die größte und optikintensivste.
• Storage-Fabric — zu parallelen Dateisystemen und Objektspeicher, oft Ethernet (Storage-Networking).
• Front-End/Management — Benutzerzugriff, Orchestrierung, Telemetrie.

Jede hat ihr eigenes Optik-Inventar und ihre eigenen Regeln zur Herstellervalidierung.

Warum ein einzelner defekter Link so viel ausmacht

Eine kollektive Operation ist erst abgeschlossen, wenn ihr langsamster Teilnehmer fertig ist. Ein Transceiver mit einer degradierenden Lane — mehr FEC-Korrekturen, gelegentliche Neuübertragungen — verlängert die Tail-Latenz jedes Schritts und kann einen messbaren Anteil des gesamten Cluster-Durchsatzes kosten. Deshalb verfolgen KI-Betreiber die DDM pro Lane über die gesamte Flotte und tauschen Optik proaktiv aus (Transceiver in KI-Clustern).

In CodingBox

Optik auf der Werkbank qualifizieren, bevor sie in eine Rail geht: Identität laut CMIS, DDM-Baseline pro Lane auf dem Bildschirm DDM und ein Eintrag in der Code-Datenbank, damit die Historie eines Moduls verfügbar ist, wenn eine Rail beginnt, Fehler zu zeigen.

Die Adapter am GPU-Ende dieser Fabrics — BlueField, ConnectX-8 SuperNIC, Pensando — und ihre Twin-Port-OSFP-Optik: SmartNICs und DPUs.