Topologie delle fabric GPU

La rete di un cluster AI è costruita a livelli, e ogni livello utilizza interconnessioni diverse — e ottiche diverse. Capire i livelli spiega perché un cluster ha così tanti ricetrasmettitori e dove uno difettoso fa più danno.

Scale-up e scale-out

I ricetrasmettitori pluggable vivono soprattutto nel livello scale-out — ogni server GPU ha diverse porte 400G/800G verso il fabric, più una rete separata di front-end/storage.

Fat-tree e non bloccante

Il fabric scale-out è di solito un fat-tree (Clos): gli switch leaf collegano i server, gli switch spine collegano i leaf, con abbastanza uplink leaf–spine perché qualsiasi server possa comunicare con qualsiasi altro a piena velocità (non bloccante). La maggior parte delle ottiche di un cluster sono questi collegamenti leaf–spine e server–leaf — migliaia di moduli DR4/DR8 identici.

Design ottimizzato per rail

Il traffico di training è dominato dalle operazioni collettive tra GPU dello stesso rank su server diversi. Una topologia ottimizzata per rail sfrutta questo fatto: la GPU 0 di ogni server si collega allo switch leaf 0, la GPU 1 al leaf 1 e così via, così le GPU dello stesso rank distano un hop e le operazioni collettive non attraversano mai lo spine. La conseguenza per le ottiche: un guasto su un singolo rail colpisce una posizione GPU in ogni server — uno schema che vale la pena riconoscere.

Reti separate

Un cluster in genere gestisce diversi fabric fisicamente separati:

• Fabric di calcolo — GPU-to-GPU (IB o RoCE), il più grande e il più intensivo in termini di ottiche.
• Fabric di storage — verso file system paralleli e object storage, spesso Ethernet (rete di storage).
• Front-end / gestione — accesso utenti, orchestrazione, telemetria.

Ognuno ha il proprio inventario di ottiche e le proprie regole di convalida del produttore.

Perché un collegamento difettoso pesa così tanto

Un’operazione collettiva si completa alla velocità del suo partecipante più lento. Un ricetrasmettitore con una lane in degrado — più correzioni FEC, ritrasmissioni occasionali — allunga la latenza di coda di ogni passo e può costare una frazione misurabile del throughput dell’intero cluster. Per questo gli operatori AI tracciano l’andamento del DDM per lane sull’intera flotta e sostituiscono le ottiche in modo proattivo (Ricetrasmettitori nei cluster AI).

In CodingBox

Qualifica le ottiche al banco prima che entrino in un rail: identità tramite CMIS, baseline del DDM per lane nella schermata DDM, e una registrazione nel code database così la cronologia di un modulo è disponibile quando un rail inizia a mostrare errori.

Gli adattatori all’estremità GPU di questi fabric — BlueField, ConnectX-8 SuperNIC, Pensando — e le loro ottiche OSFP a doppia porta: SmartNIC e DPU.