Topologie fabric GPU

Sieć klastra AI jest zbudowana warstwowo, a każda warstwa używa innych technologii połączeń — i innej optyki. Zrozumienie warstw wyjaśnia, dlaczego klaster ma tak wiele transceiverów i gdzie wadliwy egzemplarz szkodzi najbardziej.

Scale-up kontra scale-out

	Scale-up	Scale-out
Łączy	GPU w obrębie serwera albo szafy	serwery między sobą
Technologia	zastrzeżone łącza GPU-GPU (np. NVLink/NVSwitch)	InfiniBand albo Ethernet/RoCE
Medium	backplane'y i kable miedziane, coraz częściej optyka między szafami	optyka wpinana: 400G/800G OSFP, QSFP-DD
Przepustowość na GPU	najwyższa	wysoka, dzielona z fabric

Transceivery wpinane żyją głównie w warstwie scale-out — każdy serwer GPU ma kilka portów 400G/800G w stronę fabric, plus osobną sieć front-end/storage.

Fat-tree i bez blokowania

Fabric scale-out to zwykle fat-tree (Clos): przełączniki leaf łączą serwery, przełączniki spine łączą leafy, z taką liczbą uplinków leaf-spine, żeby dowolny serwer mógł rozmawiać z dowolnym innym z pełną szybkością (bez blokowania). Większość optyki klastra to właśnie te łącza leaf-spine i serwer-leaf — tysiące identycznych modułów DR4/DR8.

Projekt zoptymalizowany pod rail

Ruch treningowy jest zdominowany przez operacje zbiorowe między GPU tej samej rangi na różnych serwerach. Topologia zoptymalizowana pod rail to wykorzystuje: GPU 0 każdego serwera łączy się z przełącznikiem leaf 0, GPU 1 z leaf 1 i tak dalej, więc GPU tej samej rangi dzieli jeden przeskok, a operacje zbiorowe nigdy nie przechodzą przez spine. Konsekwencja dla optyki: usterka na jednym rail dotyka jednej pozycji GPU w każdym serwerze — wzorzec wart rozpoznania.

Oddzielne sieci

Klaster zwykle uruchamia kilka fizycznie oddzielnych fabric:

Fabric obliczeniowy — GPU-GPU (IB albo RoCE), największy i najbardziej intensywny pod względem optyki.
Fabric storage — do równoległych systemów plików i storage obiektowego, często Ethernet (sieci storage).
Front-end / zarządzanie — dostęp użytkowników, orkiestracja, telemetria.

Każda ma własną inwentaryzację optyki i własne reguły walidacji producenta.

Dlaczego jedno złe łącze ma tak duże znaczenie

Operacja zbiorowa kończy się z prędkością swojego najwolniejszego uczestnika. Jeden transceiver z degradującą się linią — więcej korekcji FEC, sporadyczne retransmisje — wydłuża latencję ogonową każdego kroku i może kosztować mierzalny ułamek przepustowości całego klastra. Dlatego operatorzy AI śledzą trend DDM na linię w całej flocie i wymieniają optykę zapobiegawczo (Transceivery w klastrach AI).

W CodingBox

Kwalifikuj optykę na stanowisku, zanim trafi do rail: dane identyfikacyjne zgodnie z CMIS, wartość bazowa DDM na linię na ekranie DDM i wpis w code database, dzięki czemu historia modułu jest dostępna, gdy rail zaczyna wykazywać błędy.

Adaptery po stronie GPU tych fabric — BlueField, ConnectX-8 SuperNIC, Pensando — oraz ich optyka OSFP o podwójnym porcie: SmartNIC i DPU.

Jeśli znajdziesz nieścisłość lub błąd w tym materiale, zaznacz odpowiedni fragment i naciśnij Ctrl+Enter, aby .