Podstawy fabric InfiniBand

Fabric InfiniBand zachowuje się inaczej niż sieć Ethernet, i to w sposób, który ma znaczenie przy diagnozowaniu łącza. Ta strona omawia pojęcia, z którymi styka się inżynier optyki: menedżer podsieci, bezstratną kontrolę przepływu, topologie i sposób, w jaki objawia się wadliwe łącze.

Menedżer podsieci

Każda podsieć IB ma jeden aktywny menedżer podsieci (SM). Odkrywa wszystkie porty i przełączniki, przydziela identyfikatory lokalne (LID), wylicza tablice trasowania i programuje je w każdym przełączniku. Gdy łącze migocze, SM ponownie przemiata fabric — więc optyka na granicy nie traci tylko jednego łącza, lecz wywołuje zdarzenia przetrasowania w całym fabric, które zauważają wszyscy.

Bezstratność dzięki kredytom

Łącza IB nigdy nie odrzucają pakietów w normalnej pracy: nadawca transmituje tylko wtedy, gdy odbiorca zgłosił kredyty bufora. Przeciążenie generuje więc przeciwciśnienie zamiast odrzuceń, a zdegradowane łącze (rosnące błędy symboli, korekcje FEC) spowalnia całe zadanie, które od niego zależy — problem „jednego wolnego łącza” w operacjach zbiorowych.

Topologie

Fat-tree (Clos) — standard: przełączniki leaf łączą hosty, przełączniki spine łączą przełączniki leaf, z liczbą uplinków wystarczającą do zapewnienia nieblokowania. Większość łączy to optyka leaf–spine.
Warianty Dragonfly+ i torus pojawiają się w największych systemach, by oszczędzić przełączniki i kable.
Projekty zoptymalizowane pod rail dla AI umieszczają NIC każdego GPU na osobnym rail w fabric, dzięki czemu GPU tej samej rangi na różnych serwerach dzieli jeden przeskok — zobacz topologie fabric GPU.

RDMA i GPUDirect

Aplikacje używają verbs RDMA, aby przenosić dane między pamięciami węzłów bez kopiowania przez CPU; GPUDirect RDMA rozszerza to na pamięć GPU. W efekcie usterka fabric jest widoczna dla aplikacji jako zawieszenie albo przekroczenie czasu w operacji zbiorowej, często na długo zanim operator zobaczy port w stanie down.

Jak wygląda wadliwe łącze

Objaw w fabric	Przyczyna warstwy fizycznej do sprawdzenia
Rosnące błędy symboli / bloki skorygowane przez FEC na jednym porcie	brudne MPO, moc Rx na granicy, degradująca się linia
Łącze utknęło przy niższej szerokości albo szybkości	niezgodność FEC, moduł nie zgłasza oczekiwanej przepływności
Port „Not supported”, brak łącza	nierozpoznane dane identyfikacyjne modułu — blokada producenta
Powtarzające się przemiatania SM	migoczące łącze gdzieś w sieci — znajdź je po licznikach błędów dla poszczególnych portów

Trzymaj się zwykłej drabiny diagnostycznej: poziomy → czyszczenie → wymiana → kabel.

W CodingBox

Odczytaj podejrzany moduł IB na stanowisku: Rx/Tx i bias dla poszczególnych linii na ekranie DDM pokazują, czy jedna linia modułu SR4/DR4 umiera, a pola danych identyfikacyjnych pokazują, czy fabric zaakceptuje zamiennik.

Warstwy protokołu, pary kolejek i funkcje menedżera podsieci szczegółowo: Protokół i transport IB; okablowanie fabric według generacji i zasięgu: Okablowanie IB.

Jeśli znajdziesz nieścisłość lub błąd w tym materiale, zaznacz odpowiedni fragment i naciśnij Ctrl+Enter, aby .