GPU fabric topolojileri

Bir AI kümesinin ağı katmanlar hâlinde kurulur ve her katman farklı ara bağlantılar, dolayısıyla farklı optikler kullanır. Katmanları anlamak, bir kümede neden bu kadar çok alıcı-verici olduğunu ve kötü bir tanesinin nerede en çok zarar verdiğini açıklar.

Scale-up ve scale-out

Takılabilir alıcı-vericiler çoğunlukla scale-out katmanında bulunur: her GPU sunucusunun fabric’e doğru birkaç 400G/800G portu vardır, ayrıca ayrı bir front-end/depolama ağı bulunur.

Fat-tree ve bloklamasız

Scale-out fabric genellikle bir fat-tree (Clos)’tür: leaf anahtarları sunucuları birbirine bağlar, spine anahtarları leaf’leri birbirine bağlar; herhangi bir sunucunun herhangi bir diğeriyle tam hızda konuşabilmesi için yeterli sayıda leaf-spine yukarı bağlantısı bulunur (bloklamasız). Bir kümenin optiklerinin çoğu bu leaf-spine ve sunucu-leaf bağlantılarıdır: binlerce özdeş DR4/DR8 modülü.

Rail-optimised tasarım

Eğitim trafiğine, sunucular arasında aynı ranktaki GPU’lar arasındaki kolektif işlemler hâkimdir. Bir rail-optimised topoloji bundan yararlanır: her sunucunun 0 numaralı GPU’su 0 numaralı leaf anahtarına, 1 numaralı GPU’su 1 numaralı leaf’e bağlanır ve bu böyle devam eder; böylece aynı ranktaki GPU’lar bir sıçrama uzaklığındadır ve kolektif işlemler asla spine’ı geçmez. Optikler için sonucu şudur: tek bir rail’deki bir arıza, her sunucudaki bir GPU konumunu etkiler; tanınmaya değer bir örüntüdür.

Ayrı ağlar

Bir küme tipik olarak birkaç fiziksel olarak ayrı fabric çalıştırır:

• Compute fabric — GPU-GPU (IB veya RoCE), en büyüğü ve optik yoğunluğu en fazla olanı.
• Storage fabric — paralel dosya sistemlerine ve nesne depolamaya, genellikle Ethernet (depolama ağları).
• Front-end / yönetim — kullanıcı erişimi, orkestrasyon, telemetri.

Her birinin kendi optik envanteri ve kendi satıcı doğrulama kuralları vardır.

Tek bir kötü bağlantı neden bu kadar önemlidir

Bir kolektif işlem, en yavaş katılımcısının hızında tamamlanır. Bozulan bir şeride sahip tek bir alıcı-verici (daha fazla FEC düzeltmesi, ara sıra yeniden iletim) her adımın kuyruk gecikmesini uzatır ve kümenin toplam işleme kapasitesinin ölçülebilir bir kısmına mal olabilir. AI operatörlerinin filo genelinde şerit başına DDM’yi eğilim olarak izlemesinin ve optikleri proaktif olarak değiştirmesinin nedeni budur (AI kümelerinde alıcı-vericiler).

CodingBox’ta

Optikleri bir rail’e girmeden önce tezgâhta yeterlilik testinden geçirin: CMIS başına kimlik, DDM ekranında şerit başına DDM temel değeri ve bir rail hata göstermeye başladığında modülün geçmişinin kullanılabilir olması için Code database içinde bir kayıt.

Bu fabric’lerin GPU ucundaki adaptörler (BlueField, ConnectX-8 SuperNIC, Pensando) ve bunların twin-port OSFP optikleri: SmartNIC’ler ve DPU’lar.