Nozioni essenziali sulla fabric InfiniBand

Un fabric InfiniBand si comporta in modo diverso da una rete Ethernet, e questo conta quando si diagnostica un collegamento. Questa pagina copre i concetti che un ingegnere delle ottiche incontra: il subnet manager, il controllo di flusso lossless, le topologie e come si manifesta un collegamento difettoso.

Il subnet manager

Ogni subnet IB ha un solo Subnet Manager (SM) attivo. Scopre tutte le porte e gli switch, assegna gli identificatori locali (LID), calcola le tabelle di forwarding e le programma in ogni switch. Quando un collegamento flappa, l’SM riesplora l’intera fabric — quindi un’ottica marginale non perde solo un collegamento: innesca eventi di re-instradamento a livello di fabric che tutti notano.

Lossless tramite crediti

I collegamenti IB non scartano mai pacchetti in funzionamento normale: un mittente trasmette solo quando il ricevitore ha annunciato crediti di buffer disponibili. La congestione genera quindi back-pressure invece di scarti, e un collegamento degradato (errori di simbolo crescenti, correzioni FEC) rallenta l’intero job che ne dipende — il problema del «collegamento lento unico» nelle operazioni collettive.

Topologie

Fat-tree (Clos) — lo standard: gli switch leaf collegano gli host, gli switch spine collegano i leaf, con abbastanza uplink da essere non bloccante. La maggior parte dei collegamenti sono ottiche leaf–spine.
Le varianti Dragonfly+ e a toro compaiono nei sistemi più grandi per risparmiare switch e cavi.
I design ottimizzati per rail per l’IA collocano la NIC di ogni GPU su un «rail» separato del fabric, così le GPU con lo stesso rank su server diversi distano un hop — vedi Topologie di fabric GPU.

RDMA e GPUDirect

Le applicazioni usano i verbs RDMA per spostare dati tra le memorie dei nodi senza copie della CPU; GPUDirect RDMA estende questo meccanismo alla memoria GPU. Il risultato è che un guasto della fabric è visibile alle applicazioni come uno stallo o un timeout in un’operazione collettiva, spesso molto prima che un operatore veda una porta down.

Come si presenta un collegamento difettoso

Sintomo nella fabric	Causa da verificare a livello fisico
Errori di simbolo crescenti / blocchi corretti dal FEC su una porta	MPO sporco, potenza Rx marginale, lane in degrado
Collegamento bloccato a una larghezza o velocità inferiore	mismatch di FEC, modulo che non annuncia il rate atteso
Porta «Not supported», nessun collegamento	identità del modulo non riconosciuta — blocco del produttore
Scansioni SM ripetute	un collegamento che flappa da qualche parte — individualo con i contatori di errore per porta

Segui la solita scala diagnostica: livelli → pulizia → sostituzione → cavo.

In CodingBox

Leggi un modulo IB sospetto al banco: Rx/Tx per lane e il bias nella schermata DDM mostrano se una lane di un modulo SR4/DR4 sta morendo, e i campi di identità mostrano se la fabric accetterà una sostituzione.

I livelli di protocollo, le queue pair e le funzioni del subnet manager nel dettaglio: Protocollo e trasporto IB; il cablaggio della fabric per generazione e portata: Cablaggio IB.

Se trovi un’imprecisione o un errore in questo articolo, seleziona il passaggio corrispondente e premi Ctrl+Enter per .