Yapay zekâ fabric’lerinde bağlantı güvenilirliği ve izleme

Bir eğitim işi, binlerce GPU üzerinde senkron bir hesaplamadır: her kolektif işlem en yavaş bağlantıyı bekler. Çırpınan tek bir alıcı-verici, tek bir sunucuyu kısmen yavaşlatmaz; tüm işi durdurur, tamamen arızalanırsa iş son kontrol noktasından yeniden başlar. Bu yüzden optikler bir bileşen olmaktan çıkıp bir güvenilirlik bütçesine dönüşür. Bu sayfa arıza matematiğini, sorunu önceden haber veren ölçütleri, fabric’lerin kötü bağlantıları nasıl izleyip izole ettiğini ve arıza oranlarını düşük tutan operasyonel uygulamaları ele alır.

Tek bir bağlantı neden önemlidir

Olay	Eğitim işine etkisi
Bağlantı çırpınması (saniyeler)	kolektif işlemler zaman aşımına uğrar veya yeniden dener; adım süresi sıçrar; NCCL/RCCL ile yeterince uzun bir duraklama işi iptal eder
Düşük hız/genişlikte bağlantı	her all-reduce onun hızına göre ilerler; küme genelindeki verim o bağlantının payına düşer
Yüksek FEC öncesi BER, düzeltilemeyen yok	henüz etkisi yok, ama marj tükenmiştir; bir sonraki sıcak öğleden sonra çırpınır
Düzeltilemeyen FEC hataları	paket kaybı → RDMA yeniden iletim fırtınaları → duraklama
Kesin arıza	kontrol noktasından iş yeniden başlatma: küme genelinde dakikalar ile bir saat arası kayıp hesaplama

Bin GPU’luk bir işte bir kontrol noktası yeniden başlatmasının maliyeti GPU-saat cinsinden ölçülür; daha iyi optiklerin ve daha iyi kalite kontrolünün fiyatıyla karşılaştırılması gereken sayı budur.

Arıza aritmetiği

Alıcı-verici güvenilirliği FIT (10⁹ cihaz-saati başına arıza) veya MTBF cinsinden belirtilir.

Varsayım	Değer
Fabric’teki optik uçlar	4 000 (1 024 GPU’luk iki katmanlı bir küme)
Uç başına FIT (olgun 400G optikler, iyi soğutulmuş)	200–500
Aylık beklenen kesin arıza sayısı	4 000 × 350 × 10⁻⁹ × 720 h ≈ 1
Pratikte gözlenen bağlantı çırpınması oranı	kesin arızalardan 5–20 × daha yüksek: kir, sınırda marj, termal, ürün yazılımı

Yani kesin arızalar nadir ve öngörülebilirdir; çırpınmalar ve bozulan bağlantılar baskındır ve çoğunlukla önlenebilir; izleme ve kalite kontrolünün kendini amorti etmesinin nedeni budur.

Sorunu önceden haber veren ölçütler

Ölçüt	Kaynak	Sağlıklı	Eylem
Şerit başına FEC öncesi BER	CMIS VDM; host FEC sayaçları	< 10⁻⁷	> 10⁻⁶ yükseliyorsa; > 10⁻⁵ değişim planlayın
FEC düzeltilemeyen kod sözcükleri	host	0	herhangi bir artış = olay
Şerit başına sembol hataları	host (Ethernet) / `perfquery` (IB)	dengeli, sıfıra yakın	bir şerit baskınsa
Temel değere göre şerit başına Rx gücü	DDM	ilk güne göre 1 dB içinde, şeritler birbirine göre 2 dB içinde	temel değerden −2 dB
Tx bias eğilimi	DDM	düz	temel değerden +15–20 % (Tx bias ve yaşlanma)
Modül sıcaklığı	DDM	< 60 °C	> 65 °C veya komşularına göre +10 °C
eSNR (CMIS)	VDM	> 18–20 dB	bir şeritte düşüyorsa
Port başına bağlantı çırpınmaları	anahtar günlükleri, fabric yöneticisi	0	herhangi biri
Anlaşılan hız/genişlik	anahtar / `ibstat`	tam	anma değerinin altında

Tanımlar ve biçimler: VDM ve FEC ölçütleri, İzleme.

İzleme mimarisi

Fabric	Toplama	Araçlar
InfiniBand	subnet/fabric yöneticisi her portun sayaçlarını ve kablo EEPROM/DDM’sini yoklar	UFM sınıfı yöneticiler, `ibdiagnet`, `mlxlink -m`
Ethernet (RoCE)	10–60 sn’de alıcı-verici ve FEC durumunun gNMI/OpenConfig akışı; SNMP yedek olarak	gnmic → Prometheus/Grafana, satıcı telemetrisi (Araçlarla DDM okuma)
Host tarafı	NIC sayaçları: yeniden iletimler, CNP’ler, sırasız paketler; zaman aşımları için NCCL/RCCL günlükleri	node exporter’lar
İş tarafı	adım süresi varyansı, geride kalan tespiti	eğitim çerçevesi ölçütleri

Üçünü ilişkilendirin: 14:05’teki bir adım süresi sıçraması, 14:04’te leaf 7 şerit 3’teki bir FEC öncesi BER sapması ve rack 12’deki bir modül sıcaklığı zirvesi, eksiksiz bir tanı oluşturur.

İzolasyon ve düzeltme

Düzeltilemeyen hatalar veya çırpınmalar bir eşiği aştığında otomatik port devre dışı bırakma / etrafından yönlendirme: fabric yöneticileri ve NOS bağlantı hatası politikalarını destekler; bu arada uyarlanabilir yönlendirme akışları bozulan bir bağlantının etrafına yönlendirir.
NIC portu suçluysa düğümü boşaltın; işi bunun etrafında planlayın.
Modülü tezgâha alın: kimlik, ilk güne ait temel değere karşı şerit başına DDM, sağlama toplamları, ürün yazılımı sürümü (Check transceiver, DDM).
Modülü suçlamadan önce her iki taraftaki MPO’yu temizleyin ve yeniden denetleyin: en yaygın neden kirdir (Fiziksel uyumsuzluklar).
Değiştirin ve gözlemleyin: hatalar modülü takip ediyorsa iade edin (RMA); portta kalıyorsa kafese, fibere ve karşı uca bakın.

Arıza oranını düşüren uygulamalar

Uygulama	Etki
Giriş muayenesi ve burn-in (yük ve sıcaklık altında 24–72 h)	erken arızaları bir işe ulaşmadan önce ayıklar
İlk gün şerit başına DDM temel değeri	mutlak doğruluğu (±3 dB) hassas farklara dönüştürür
Modülleri < 60 °C’de tutmak: hava akışı, kanatlı/düz OSFP’nin doğru kullanımı, tıkalı olmayan hava girişleri	ömür her −10 °C’de iki katına çıkar
Her birleştirmede her konektörü temizlemek; kullanılmayan portlarda kapak	çırpınmaların çoğu kirden kaynaklanır
Modüller ve hostlar için güncel ürün yazılımı	CMIS birlikte çalışabilirlik düzeltmeleri (CMIS sorunları)
Katman başına homojen, doğrulanmış optikler	daha az host/modül DSP birlikte çalışabilirlik sürprizi
Burn-in yapılmış ve temel değeri alınmış yedekler, 3–5 %	ikinci bir olay olmadan değişim
Haftalık eğilim incelemesi	yaşlanan lazerleri arızada değil planlı olarak değiştirmek

Teknoloji nereye gidiyor

Daha yüksek şerit hızları (200G/şerit, 1,6T) marjları daha da sıkıştırır; doğrusal (LPO) ve birlikte paketlenmiş optikler, DSP’yi ve onun izlemesini ortadan kaldırıp BER görünürlüğünü hosta taşırken daha az bileşen ve daha az ısı vadeder (Modülasyon ve DSP, AI’da optikler). Modül ne olursa olsun disiplin aynı kalır: temel değeri belirleyin, farkları izleyin, eğilimlere göre hareket edin.

CodingBox’ta

CodingBox bu döngünün tezgâh ucudur: giriş muayenesi ve burn-in okumaları, seri numarasına göre Code database içinde saklanan ilk güne ait şerit başına temel değerler ve çıkarılan modüllerin, kendi geçmişleriyle karşılaştırılan kimlik, ürün yazılımı, sağlama toplamları ve DDM’den oluşan son inceleme (post-mortem) okumaları; böylece RMA kararları portun son günlük satırına değil veriye dayanır.

Bu materyalde bir yanlışlık veya hata bulursanız ilgili bölümü seçin ve Ctrl+Enter tuşlarına basarak .