InfiniBand fabric temelleri

Bir InfiniBand fabric’i, bir bağlantıyı tanılarken önemli olan yönlerden bir Ethernet ağından farklı davranır. Bu sayfa, bir optik mühendisinin karşılaştığı kavramları ele alır: alt ağ yöneticisi, kayıpsız akış kontrolü, topolojiler ve kötü bir bağlantının nasıl ortaya çıktığı.

Alt ağ yöneticisi

Her IB alt ağının bir aktif Alt Ağ Yöneticisi (SM) vardır. Tüm portları ve anahtarları keşfeder, yerel tanımlayıcılar (LID) atar, yönlendirme tablolarını hesaplar ve bunları her anahtara programlar. Bir bağlantı çırpındığında SM, fabric’i yeniden tarar — bu yüzden sınırda bir optik yalnızca bir bağlantıyı kaybetmekle kalmaz, herkesin fark ettiği fabric genelinde yeniden yönlendirme olaylarını tetikler.

Krediyle kayıpsızlık

IB bağlantıları, normal çalışmada paketleri asla düşürmez: bir gönderici yalnızca alıcı arabellek kredileri bildirdiğinde iletir. Bu yüzden tıkanıklık, düşürme yerine geri basınç uygular ve bozulan bir bağlantı (yükselen sembol hataları, FEC düzeltmeleri) ona bağlı olan tüm işi yavaşlatır — kolektif işlemlerdeki “tek yavaş bağlantı” sorunu.

Topolojiler

Fat-tree (Clos) — standart olan: leaf anahtarları hostları birbirine bağlar, spine anahtarları leaf’leri birbirine bağlar; bloklamasız olacak kadar yeterli üst bağlantı vardır. Bağlantıların çoğu leaf–spine optikleridir.
Dragonfly+ ve torus türevleri, anahtar ve kablodan tasarruf etmek için en büyük sistemlerde görülür.
AI için rail-optimised tasarımlar, her GPU’nun NIC’ini fabric’in ayrı bir “rail”ine yerleştirir; böylece sunucular arasında aynı ranktaki GPU’lar bir sıçrama uzaklığında olur — bkz. GPU fabric topolojileri.

RDMA ve GPUDirect

Uygulamalar, düğüm bellekleri arasında CPU kopyalaması olmadan veri taşımak için RDMA verb’lerini kullanır; GPUDirect RDMA bunu GPU belleğine genişletir. Sonuç olarak bir fabric arızası, bir operatör düşmüş bir portu görmeden çok önce, uygulamalara bir kolektif işlemde takılma veya zaman aşımı olarak görünür.

Kötü bir bağlantı nasıl görünür

Fabric’teki belirti	Kontrol edilecek fiziksel katman nedeni
Bir portta yükselen sembol hataları / FEC tarafından düzeltilen bloklar	kirli MPO, sınırda Rx gücü, bozulan şerit
Bağlantı daha düşük bir genişlikte veya hızda takılı kalıyor	FEC uyuşmazlığı, modül beklenen hızı bildirmiyor
Port “Not supported”, bağlantı yok	tanınmayan modül kimliği — satıcı kilidi
Tekrarlanan SM taramaları	bir yerde çırpınan bir bağlantı — port başına hata sayaçlarıyla bulun

Olağan tanılama merdivenini izleyin: seviyeler → temizlik → değişim → kablo.

CodingBox’ta

Şüpheli bir IB modülünü tezgâhta okuyun: DDM ekranındaki şerit başına Rx/Tx ve bias, bir SR4/DR4 modülünün bir şeridinin ölüp ölmediğini gösterir; kimlik alanları ise fabric’in bir değişimi kabul edip etmeyeceğini gösterir.

Protokol katmanları, kuyruk çiftleri ve alt ağ yöneticisi işlevleri ayrıntılı olarak: IB protokolü ve taşıması; fabric’in nesle ve erişim mesafesine göre kablolanması: IB kablolaması.

Bu materyalde bir yanlışlık veya hata bulursanız ilgili bölümü seçin ve Ctrl+Enter tuşlarına basarak .