Übersicht KI-Netzwerke

Das Training großer KI-Modelle verteilt die Arbeit auf viele GPUs über viele Server. Das Netz zwischen ihnen — nicht die einzelne GPU — bestimmt oft, wie schnell ein Cluster trainieren kann; deshalb setzen KI-Fabrics auf die verfügbaren optischen Transceiver mit der höchsten Bandbreite.

Warum das Netz entscheidend ist

• Kollektive Operationen — GPUs tauschen ständig Gradienten und Parameter in All-to-all-Mustern aus, was starken Ost-West-Verkehr erzeugt.
• Tail-Latenz zählt — ein Schritt wartet auf den langsamsten Link, daher sind gleichbleibend niedrige Latenz und verlustfreie Zustellung essenziell.
• Skalierung — Tausende GPUs bedeuten dichte Switches mit hohem Radix und enorme Mengen an Optik.

Zwei Fabric-Stile

• InfiniBand — seit Langem etabliert im HPC-Bereich, mit RDMA und verlustfreier Flusskontrolle (siehe InfiniBand).
• Ethernet mit RoCE — RDMA over Converged Ethernet, zunehmend im Einsatz für KI im großen Maßstab auf verlustfreiem Ethernet.

Optik

KI-Links liegen typischerweise bei 400G und 800G, auf QSFP-DD- und OSFP-Modulen. Die konkrete Wahl von Interconnects und Optik behandelt KI-Interconnects & Optik.

Dieselben Formfaktoren und derselbe Verwaltungsspeicher gelten auch hier — CodingBox liest diese hochratigen Module wie jedes andere.

Weiterführend

• Verkabelung eines KI-Clusters — Link-Zahlen pro GPU, Distanzen in Rail-optimierten Layouts, DAC/AEC/AOC/DR-Mix, Steckerwahl, Optikleistung, Installations-QA.
• Link-Zuverlässigkeit & Monitoring in KI-Fabrics — warum ein Link einen Job blockiert, FIT-Arithmetik, vorausschauende Metriken, Monitoring-Architektur, Isolation und Prävention.