Panoramica sulle reti per l’IA

L’addestramento di grandi modelli AI distribuisce il lavoro su molte GPU e molti server. La rete che le collega — non la singola GPU — determina spesso la velocità di addestramento di un cluster, motivo per cui i fabric AI si affidano ai ricetrasmettitori ottici a più alta larghezza di banda disponibili.

Perché la rete è critica

• Operazioni collettive — le GPU si scambiano costantemente gradienti e parametri con schemi all-to-all, generando un pesante traffico est-ovest.
• La latenza di coda conta — uno step attende il collegamento più lento, quindi una bassa latenza costante e una consegna lossless sono essenziali.
• Scala — migliaia di GPU significano switch densi ad alto radix e numeri enormi di ottiche.

Due stili di fabric

• InfiniBand — affermato da tempo nell’HPC, con RDMA e controllo di flusso lossless (vedi InfiniBand).
• Ethernet con RoCE — RDMA over Converged Ethernet, sempre più usato per l’AI su larga scala su Ethernet lossless.

Ottiche

I collegamenti AI sono tipicamente a 400G e 800G, su moduli QSFP-DD e OSFP. Le scelte specifiche di interconnessione e le ottiche sono trattate in Interconnessioni e ottiche AI.

Si applicano gli stessi fattori di forma e la stessa memoria di gestione — CodingBox legge questi moduli ad alta velocità come qualsiasi altro.

Per approfondire

• Cablaggio di un cluster AI — numero di collegamenti per GPU, distanze nei layout ottimizzati per rail, mix DAC/AEC/AOC/DR, scelte di connettore, potenza delle ottiche, QA di installazione.
• Affidabilità del collegamento e monitoraggio nei fabric AI — perché un collegamento blocca un job, aritmetica FIT, metriche predittive, architettura di monitoraggio, isolamento e prevenzione.