Overzicht van AI-netwerken

Bij het trainen van grote AI-modellen wordt werk verdeeld over veel GPU's in veel servers. Het netwerk ertussen, niet één afzonderlijke GPU, bepaalt vaak hoe snel een cluster kan trainen. Daarom steunen AI-fabrics op de optische transceivers met de hoogste beschikbare bandbreedte.

Waarom het netwerk kritiek is

• Collectieve bewerkingen — GPU's wisselen voortdurend gradiënten en parameters uit in all-to-all-patronen, wat intensief east-west-verkeer oplevert.
• Tail latency doet ertoe — een stap wacht op de langzaamste link; daarom zijn consistent lage latency en verliesvrije aflevering essentieel.
• Schaal — duizenden GPU's betekenen switches met hoge radix en enorme aantallen optiek.

Twee fabricstijlen

• InfiniBand — al lang gevestigd in HPC, met RDMA en verliesvrije flow control (zie InfiniBand).
• Ethernet met RoCE — RDMA over Converged Ethernet, in toenemende mate gebruikt voor AI op schaal met verliesvrij Ethernet.

Optiek

AI-links zijn doorgaans 400G en 800G, op QSFP-DD- en OSFP-modules. De specifieke keuzes voor interconnects en optiek worden behandeld in AI-interconnects en optiek.

Dezelfde vormfactoren en hetzelfde beheerde geheugen zijn van toepassing — CodingBox leest deze modules met hoge snelheid net als alle andere.

Verder lezen

• Bekabeling van een AI-cluster — linkaantallen per GPU, afstanden in railgeoptimaliseerde opstellingen, mix van DAC/AEC/AOC/DR, connectorkeuzes, vermogen van optiek, installatie-QA.
• Linkbetrouwbaarheid en monitoring in AI-fabrics — waarom één link een taak stillegt, FIT-rekenkunde, voorspellende metriek, monitoringarchitectuur, isolatie en preventie.