Yapay zekâ ağlarına genel bakış

Büyük AI modellerini eğitmek, işi birçok sunucudaki birçok GPU’ya dağıtır. Aralarındaki ağ, tek bir GPU değil, genellikle bir kümenin ne kadar hızlı eğitim yapabileceğini belirler; AI fabric’lerinin mevcut en yüksek bant genişlikli optik alıcı-vericilere yaslanmasının nedeni budur.

Ağ neden kritiktir

• Kolektif işlemler — GPU’lar, tümden-tüme (all-to-all) örüntülerde sürekli gradyan ve parametre alışverişi yapar, bu da ağır doğu-batı trafiği üretir.
• Kuyruk gecikmesi önemlidir — bir adım en yavaş bağlantıyı bekler, bu yüzden tutarlı düşük gecikme ve kayıpsız iletim şarttır.
• Ölçek — binlerce GPU, yoğun, yüksek radiksli anahtarlar ve devasa optik sayıları anlamına gelir.

İki fabric türü

• InfiniBand — HPC’de uzun süredir yerleşiktir, RDMA ve kayıpsız akış kontrolüne sahiptir (bkz. InfiniBand).
• RoCE ile Ethernet — Converged Ethernet üzerinden RDMA; kayıpsız Ethernet üzerinde büyük ölçekli AI için giderek daha çok kullanılıyor.

Optikler

AI bağlantıları tipik olarak QSFP-DD ve OSFP modüllerinde 400G ve 800G’dir. Belirli ara bağlantı seçimleri ve optikler AI ara bağlantıları ve optikleri sayfasında ele alınır.

Aynı form faktörleri ve yönetim belleği geçerlidir: CodingBox bu yüksek hızlı modülleri diğerleri gibi okur.

Daha fazla bilgi

• Bir AI kümesini kablolamak — GPU başına bağlantı sayıları, rail-optimised düzenlerde mesafeler, DAC/AEC/AOC/DR karışımı, konektör seçimleri, optik gücü, kurulum kalite kontrolü.
• AI fabric’lerinde bağlantı güvenilirliği ve izleme — bir bağlantının neden bir işi durdurduğu, FIT aritmetiği, öngörücü ölçütler, izleme mimarisi, izolasyon ve önleme.