Okablowanie IB według generacji: DAC, AOC, transceivery, kable dzielone
Klaster InfiniBand okablowuje się według klasy zasięgu: miedź tam, gdzie przełącznik jest w zasięgu ręki, miedź aktywna nieco dalej, aktywne kable optyczne do sąsiedniego rzędu, transceivery ze światłowodem strukturalnym na resztę przypadków. Każda generacja przesuwała te granice bliżej i zmieniała złącze, a NDR dodał moduły dwuportowe i kable dzielone, które dezorientują instalatorów bez doświadczenia. Ta strona to materiał referencyjny okablowania — zasięgi, złącza, konfiguracje podziału, zasady mechaniczne oraz zasady dotyczące danych identyfikacyjnych.
Złącza według generacji
| Generacja | Przepływność na linię | Port 4x | Złącze | Uwagi |
|---|---|---|---|---|
| SDR / DDR | 2,5 / 5 Gb/s | 10 / 20 Gb/s | CX4 (miedź), później QSFP | starsze rozwiązanie |
| QDR | 10 Gb/s | 40 Gb/s | QSFP | zarządzanie SFF-8436 |
| FDR | 14,06 Gb/s | 56 Gb/s | QSFP+ (klasy FDR) | 64B/66B; FEC opcjonalny |
| EDR | 25,78 Gb/s | 100 Gb/s | QSFP28 | ta sama optyka co 100G Ethernet, inne kodowanie |
| HDR | 53,1 Gb/s PAM4 | 200 Gb/s | QSFP56 | splittery 1:2 do HDR100 |
| NDR | 106 Gb/s PAM4 | 400 Gb/s | OSFP dwuportowy (2 × 400G na moduł) w przełącznikach; OSFP albo QSFP112 w HCA | 800G na klatkę przełącznika |
| XDR | 212 Gb/s PAM4 | 800 Gb/s | OSFP / OSFP-XD | 1.6T na klatkę przełącznika |
Szczegóły formatów obudowy: QSFP28, QSFP56, OSFP, QSFP112.
Klasy zasięgu
| Medium | QDR | FDR | EDR | HDR | NDR | Uwagi |
|---|---|---|---|---|---|---|
| Pasywny DAC | ≤ 7 m | ≤ 3–5 m | ≤ 3 m | ≤ 2 m | ≤ 1,5–2 m | zasięg maleje z każdą generacją; grubszy przekrój dla dłuższych odcinków |
| Miedź aktywna (ACC/AEC) | — | ≤ 5 m | ≤ 5 m | ≤ 3–4 m | ≤ 3 m | zasilane wtyczki; AEC z retimerami dla NDR |
| AOC | ≤ 100 m (niektóre 300) | ≤ 100 m | ≤ 100 m | ≤ 100 m | ≤ 30–50 m typowo | 850 nm VCSEL, wstążka MMF w środku |
| Transceiver klasy SR (MMF) | ≤ 300 m | ≤ 100–150 m | ≤ 70–100 m | ≤ 70–100 m | ≤ 50 m (VR) / 100 m (SR) | OM3/OM4, MPO |
| Transceiver klasy DR/FR (SMF) | — | — | 500 m – 2 km (PSM4, CWDM4) | 500 m – 2 km | 500 m (DR4) / 2 km (FR4) | MPO-12 APC (DR4), duplex LC (FR4) |
Co jest w środku każdego typu kabla: Wnętrze kabli.
Dwuportowe i dzielone kable NDR
Klatka przełącznika NDR mieści jeden moduł OSFP dwuportowy = dwa niezależne porty 400G za dwoma gniazdami MPO-12/APC (albo dwoma LC-duplex). Opcje okablowania z jednego modułu:
| Konfiguracja | Kabel | Daleki koniec |
|---|---|---|
| 2 × 400G proste | dwie magistrale MPO-12 APC | dwa porty 400G NDR HCA (OSFP albo QSFP112) albo kolejny przełącznik |
| Podział 1:2 (800G → 2 × 400G) | kabel Y, jeden koniec OSFP, dwa końce OSFP/QSFP112 | dwa HCA — standardowe połączenie serwerowe |
| Podział 1:4 (800G → 4 × 200G) | jeden koniec OSFP, cztery końce QSFP56/QSFP112 | HCA o szybkości HDR (NDR200) |
| AOC dwuportowy | jeden koniec OSFP dwuportowy, dwa końce OSFP/QSFP112 | do ~30–50 m |
| DAC dwuportowy | jeden koniec OSFP, dwa końce | ≤ 1,5–2 m; ciężki — tylko wewnątrz szafy |
Każda odnoga podziału to osobne łącze z własną negocjacją; przełącznik widzi dwa (albo cztery) porty. Kodowanie danych identyfikacyjnych musi spójnie opisywać cały zestaw na każdym końcu (Wnętrze kabli).
OSFP żebrowany kontra płaski
- OSFP z żebrowanym wierzchem — zintegrowany radiator dla klatek przełączników z otwartym przepływem powietrza nad modułem. Nie pasuje do płaskiej klatki.
- OSFP z płaskim wierzchem — dla HCA i klatek z radiatorem jezdnym. Pasuje do obu typów klatek, ale w otwartej klatce przełącznika może się przegrzewać.
- QSFP112 w HCA współdzieli interfejs elektryczny NDR przy 4 × 106 Gb/s w formacie obudowy QSFP; port HCA QSFP112 łączy się z kablem dzielonym od strony przełącznika OSFP.
Konsekwencje termiczne: Moc i termika.
Zasady mechaniczne
| Zasada | Dlaczego |
|---|---|
| Zachowaj promień gięcia (DAC ≥ 10× średnicy; AOC/światłowód ≥ 30 mm) | zgnieciony twinax → błędy linii; zgięty światłowód → utrata mocy Rx |
| Podpieraj ciężar kabla — dwuportowe DAC są ciężkie | obciąża klatkę, przerywany styk, pęknięte paddle card |
| Wersja z kołkami/bez kołków oraz APC na każdym MPO | Breakout i okablowanie MPO |
| Czyść i sprawdzaj każde MPO przed włożeniem | jedna cząstka kosztuje linię 1–3 dB |
| Trzymaj zaślepki przeciwpyłowe na nieużywanych klatkach i złączach | zanieczyszczenie to główna przyczyna awarii linii |
| Prowadź trasę z dala od gorącego wylotu powietrza | podzespoły optyczne AOC i wtyczki AEC starzeją się wraz z temperaturą |
Dane identyfikacyjne i polityka producenta
Przełączniki i HCA InfiniBand od dominującego producenta walidują kable i transceivery względem listy wspieranych i wczytują ich informacje o kablu (producent, PN, SN, długość, technologia) do menedżera fabric. Niezwalidowany kabel może połączyć się z obniżoną szybkością albo zostać oznaczony; kabel zakodowany z błędną długością albo klasą przepływności może nie przejść negocjacji. Bajty danych identyfikacyjnych to standardowe pola SFF-8636/CMIS plus deklaracje przepływności InfiniBand (Kody zgodności, Blokada producenta).
Prowadzenie ewidencji
- Oznacz oba końce łączem (przełącznik/port ↔ host/port); kable dzielone wymagają etykiet dla każdej odnogi.
- Zapisuj producenta, PN, SN i długość dla każdego kabla w menedżerze fabric albo CMDB; pobieraj dane z
mlxcablesalbo z CodingBox podczas kontroli wejściowej. - Trzymaj zapasy według klasy zasięgu i złącza; dwuportowe i dzielone warianty NDR nie są zamienne ze zwykłym 400G.
- Wygrzewaj nową optykę przed wdrożeniem (Niezawodność łącza i monitorowanie).
W CodingBox
Końce kabli i transceivery odczytuje się tak samo jak każdy moduł: dane identyfikacyjne wraz z długością kabla, technologią i klasą przepływności, DDM dla poszczególnych linii w AOC i optyce, stan CMIS dla modułów NDR (Check transceiver, DDM). Odczytanie każdej odnogi kabla dzielonego przed instalacją wychwytuje niedopasowany koniec, który inaczej połączyłby się z niewłaściwą szybkością.
Jak HCA i sterowniki NIC walidują te kable, oraz narzędzia, które pokazują wynik z poziomu hosta: Kompatybilność transceiverów w kartach NIC, Narzędzia i diagnostyka NIC.