English 
简体中文 
繁體中文 
Русский 
Español 
Deutsch 
Français 
Português 
Italiano 
Türkçe 
Polski 
Nederlands 
日本語 
한국어 
Bahasa Indonesia 
Bahasa Melayu 
العربية 
हिन्दी 
Tiếng Việt 
ภาษาไทย 
বাংলা 
اردو 
Kiswahili 
Oʻzbekcha 
አማርኛ 
فارسی Affidabilità dei collegamenti e monitoraggio nelle fabric IA
Un job di training è un calcolo sincrono su migliaia di GPU: ogni operazione collettiva attende il collegamento più lento. Un ricetrasmettitore instabile non rallenta un server di una frazione — blocca l’intero job, e se si guasta del tutto il job riparte dall’ultimo checkpoint. Le ottiche smettono quindi di essere un componente e diventano un budget di affidabilità. Questa pagina copre la matematica dei guasti, le metriche che predicono i problemi, come i fabric monitorano e isolano i collegamenti difettosi, e le pratiche operative che mantengono bassi i tassi di guasto.
Perché un collegamento conta
| Evento | Effetto su un job di training |
|---|---|
| Flap del collegamento (secondi) | le operazioni collettive vanno in timeout o ritentano; il tempo di step ha dei picchi; con NCCL/RCCL uno stallo abbastanza lungo interrompe il job |
| Collegamento a velocità/larghezza ridotta | ogni all-reduce è scandito da esso; il throughput dell’intero cluster scende alla quota di quel collegamento |
| BER pre-FEC elevato, nessun errore non correggibile | ancora nessun effetto — ma il margine è sparito; al primo pomeriggio caldo flappa |
| Errori FEC non correggibili | perdita di pacchetti → tempeste di ritrasmissione RDMA → stallo |
| Guasto hard | riavvio del job dal checkpoint: da minuti a un’ora di calcolo perso sull’intero cluster |
Il costo di un riavvio da checkpoint su un job da mille GPU si misura in ore-GPU; questo è il numero da confrontare con il prezzo di ottiche migliori e di una QA migliore.
Aritmetica dei guasti
L’affidabilità di un ricetrasmettitore si esprime in FIT (guasti per 10⁹ ore-dispositivo) o in MTBF.
| Ipotesi | Valore |
|---|---|
| Estremità ottiche nel fabric | 4 000 (cluster a due livelli da 1 024 GPU) |
| FIT per estremità (ottiche 400G mature, ben raffreddate) | 200–500 |
| Guasti hard attesi al mese | 4 000 × 350 × 10⁻⁹ × 720 h ≈ 1 |
| Tasso di flap del collegamento osservato in pratica | 5–20 × superiore ai guasti hard — sporco, margine risicato, termico, firmware |
I guasti hard sono quindi rari e prevedibili; a dominare sono i flap e i collegamenti degradati, per lo più prevenibili — motivo per cui il monitoraggio e la QA si ripagano da soli.
Metriche che predicono i problemi
| Metrica | Fonte | Sano | Azione |
|---|---|---|---|
| BER pre-FEC per lane | VDM CMIS; contatori FEC dell’host | < 10⁻⁷ | > 10⁻⁶ in salita; > 10⁻⁵ pianifica la sostituzione |
| Codeword FEC non correggibili | host | 0 | qualsiasi incremento = incidente |
| Errori di simbolo per lane | host (Ethernet) / perfquery (IB) | bilanciati, vicini a zero | una lane predominante |
| Potenza Rx per lane vs baseline | DDM | entro 1 dB dal primo giorno, lane entro 2 dB tra loro | −2 dB dalla baseline |
| Andamento del bias Tx | DDM | piatto | +15–20 % dalla baseline (Bias Tx e invecchiamento) |
| Temperatura del modulo | DDM | < 60 °C | > 65 °C oppure +10 °C rispetto ai vicini |
| eSNR (CMIS) | VDM | > 18–20 dB | in calo su una lane |
| Flap del collegamento per porta | log dello switch, fabric manager | 0 | qualsiasi |
| Velocità/larghezza negoziata | switch / ibstat | piena | sotto il nominale |
Definizioni e formati: Metriche VDM e FEC, Monitoraggio.
Architettura di monitoraggio
| Fabric | Raccolta | Strumenti |
|---|---|---|
| InfiniBand | il subnet/fabric manager interroga i contatori di ogni porta e l’EEPROM/DDM del cavo | manager di classe UFM, ibdiagnet, mlxlink -m |
| Ethernet (RoCE) | streaming gNMI/OpenConfig dello stato di ricetrasmettitore e FEC ogni 10–60 s; fallback SNMP | gnmic → Prometheus/Grafana, telemetria del produttore (Lettura del DDM con gli strumenti) |
| Lato host | contatori NIC: ritrasmissioni, CNP, out-of-order; log NCCL/RCCL per i timeout | node exporter |
| Lato job | varianza del tempo di step, rilevamento straggler | metriche del framework di training |
Correla i tre livelli: un picco del tempo di step alle 14:05, un’escursione del BER pre-FEC su leaf 7 lane 3 alle 14:04 e un picco di temperatura del modulo nel rack 12 formano una diagnosi completa.
Isolamento e rimedio
- Disabilitazione automatica della porta / instradamento alternativo quando gli errori non correggibili o i flap superano una soglia — i fabric manager e i NOS supportano politiche di errore sul collegamento; nel frattempo il routing adattivo devia i flussi attorno a un collegamento degradato.
- Svuota il nodo (drain) se la sua porta NIC è la colpevole; pianifica il job escludendolo.
- Porta il modulo al banco: identità, DDM per lane rispetto alla baseline del primo giorno, checksum, versione firmware (Check transceiver, DDM).
- Pulisci e reispeziona l’MPO su entrambi i lati prima di dare la colpa al modulo — lo sporco è la causa più comune (Incompatibilità fisiche).
- Sostituisci e osserva: se gli errori seguono il modulo, procedi con l’RMA; se restano legati alla porta, controlla la gabbia, la fibra e l’estremità remota.
Pratiche che riducono il tasso di guasto
| Pratica | Effetto |
|---|---|
| Ispezione in ingresso e burn-in (24–72 h sotto carico e temperatura) | elimina la mortalità infantile prima che raggiunga un job |
| Baseline del DDM per lane al primo giorno | trasforma l’accuratezza assoluta (±3 dB) in delta precisi |
| Mantenere i moduli < 60 °C — flusso d’aria, OSFP alettato/flat corretto, prese d’aria non ostruite | la vita utile raddoppia ogni −10 °C |
| Pulire ogni connettore a ogni accoppiamento; cappucci sulle porte inutilizzate | la maggior parte dei flap è sporco |
| Firmware aggiornato per moduli e host | correzioni di interoperabilità CMIS (Problemi CMIS) |
| Ottiche omogenee e validate per livello | meno sorprese di interoperabilità DSP host/modulo |
| Scorte in burn-in e con baseline, 3–5 % | sostituzione senza un secondo incidente |
| Revisione settimanale dei trend | sostituire i laser che invecchiano secondo programma, non al guasto |
Verso dove va la tecnologia
Le velocità per lane più elevate (200G/lane, 1,6T) comprimono ulteriormente i margini; le ottiche lineari (LPO) e le co-packaged optics eliminano il DSP e il suo monitoraggio — spostando la visibilità del BER verso l’host — promettendo al contempo meno componenti e meno calore (Modulazione e DSP, Ottiche nell’AI). Qualunque sia il modulo, la disciplina resta: baseline, monitorare i delta, agire sui trend.
In CodingBox
CodingBox è l’estremità da banco di questo ciclo: letture di ispezione in ingresso e burn-in, baseline per lane del primo giorno memorizzate per seriale nel code database, e letture post-mortem dei moduli rimossi — identità, firmware, checksum e DDM confrontati con la propria storia — così le decisioni di RMA si basano sui dati e non sull’ultima riga di log della porta.