Topologieën van GPU-fabrics

Het netwerk van een AI-cluster is in lagen opgebouwd; elke laag gebruikt andere interconnects en optiek. Wie die lagen begrijpt, begrijpt waarom een cluster zo veel transceivers heeft en waar een slechte transceiver de meeste schade veroorzaakt.

Scale-up tegenover scale-out

Insteekbare transceivers bevinden zich vooral in de scale-out-laag: elke GPU-server heeft meerdere 400G/800G-poorten naar de fabric, plus afzonderlijke netwerken voor front-end/opslag.

Fat-tree en non-blocking

De scale-outfabric is meestal een fat-tree (Clos): leafswitches verbinden servers, spineswitches verbinden leafs, met voldoende leaf–spine-uplinks zodat elke server op volle snelheid met elke andere kan communiceren (non-blocking). Het merendeel van de optiek van een cluster bestaat uit deze leaf–spine- en server–leaflinks: duizenden identieke DR4/DR8-modules.

Railgeoptimaliseerd ontwerp

Trainingsverkeer wordt gedomineerd door collectieve bewerkingen tussen GPU's van dezelfde rang over servers. Een railgeoptimaliseerde topologie benut dit: GPU 0 van elke server verbindt met leafswitch 0, GPU 1 met leaf 1 enzovoort. GPU's met dezelfde rang liggen daardoor één hop uit elkaar en collectieven steken de spine nooit over. Voor optiek betekent dit dat een storing op één rail één GPU-positie in elke server raakt, een herkenbaar patroon.

Afzonderlijke netwerken

Een cluster gebruikt doorgaans meerdere fysiek gescheiden fabrics:

• Rekenfabric — GPU-naar-GPU (IB of RoCE), de grootste en meest optiekintensieve.
• Opslagfabric — naar parallelle bestandssystemen en objectopslag, vaak Ethernet (opslagnetwerken).
• Front-end / beheer — gebruikerstoegang, orkestratie, telemetrie.

Elke fabric heeft een eigen optiekinventaris en eigen regels voor fabrikantvalidatie.

Waarom één slechte link zo veel uitmaakt

Een collectieve bewerking wordt voltooid met de snelheid van de traagste deelnemer. Eén transceiver met een verslechterende lane, met meer FEC-correcties en incidentele retransmits, rekt de tail latency van elke stap op en kan een meetbaar deel van de doorvoer van het hele cluster kosten. Daarom volgen AI-exploitanten DDM per lane voor de hele vloot en vervangen zij optiek proactief (Transceivers in AI-clusters).

In CodingBox

Kwalificeer optiek op de werkbank voordat die in een rail gaat: identiteit per CMIS, DDM-baseline per lane in het scherm DDM, en een record in de Code database, zodat de geschiedenis van een module beschikbaar is zodra een rail fouten begint te tonen.

De adapters aan het GPU-uiteinde van deze fabrics — BlueField, ConnectX-8 SuperNIC, Pensando — en hun twin-port-OSFP-optiek: SmartNIC's en DPU's.