English 
简体中文 
繁體中文 
Русский 
Español 
Deutsch 
Français 
Português 
Italiano 
Türkçe 
Polski 
Nederlands 
日本語 
한국어 
Bahasa Indonesia 
Bahasa Melayu 
العربية 
हिन्दी 
Tiếng Việt 
ภาษาไทย 
বাংলা 
اردو 
Kiswahili 
Oʻzbekcha 
አማርኛ 
فارسی Okablowanie klastra AI: liczba połączeń, odległości, medium, kontrola jakości
Klaster GPU to przede wszystkim kable. Osiem GPU w węźle oznacza osiem łączy scale-out 400G (albo 800G) plus zarządzanie i storage; tysiąc GPU oznacza tysiące końców optycznych rozłożonych na dwóch albo trzech warstwach przełączników, z których każdy to potencjalne zatrzymanie treningu. Ta strona zamienia projekty fabric z Fabric GPU na liczby kabli, klasy zasięgu, wybór złączy i listę kontrolną instalacji.
Liczenie łączy
Dla typowego węzła 8-GPU z jedną kartą NIC 400G na GPU, w fabric dwuwarstwowym zoptymalizowanym pod rail:
| Pozycja | Wzór | 1 024 GPU (128 węzłów) |
|---|---|---|
| Łącza GPU-leaf | GPU × 1 | 1 024 × 400G |
| Łącza leaf-spine (bez blokowania) | = łącza GPU-leaf | 1 024 × 400G |
| Końce optyczne/kablowe (dwa na łącze) | łącza × 2 | 4 096 |
| Karty NIC storage + zarządzania | 2–4 na węzeł | 256–512 łączy więcej |
| Optyka zapasowa (3–5 %) | — | 150–250 |
Przy modułach przełącznika NDR o podwójnym porcie (2 × 400G na OSFP) liczba po stronie przełącznika spada o połowę w modułach, ale nie we włóknach. Projekty trójwarstwowe dodają kolejne 1 024 łącza spine-core na każde 1 024 GPU. Każdy z tych końców to transceiver albo wtyk kabla z danymi identyfikacyjnymi i DDM (Niezawodność łącza i monitorowanie).
Odległości w układzie zoptymalizowanym pod rail
| Odcinek | Typowa odległość | Medium |
|---|---|---|
| NIC GPU → leaf, ta sama szafa | ≤ 2 m | DAC pasywny (400G ≤ 2 m; 800G ≤ 1–1,5 m) — najtańszy, zero mocy, ciężki |
| NIC GPU → leaf, sąsiednie szafy (grupy rail obejmują cały rząd) | 3–10 m | AEC (≤ 3–5 m) albo AOC / transceivery SR po MMF |
| Leaf → spine, ta sama hala | 10–100 m | AOC do ~50–100 m; SR4/SR8 / VR na OM4 ≤ 50–100 m; DR4/DR8 na SMF 500 m — DR wygrywa przy 400G i wyżej |
| Spine → core / między halami | 100 m – 2 km | DR4 / FR4 / 2×FR4 jednomodowe |
| DCI między budynkami | 2–80 km | LR4, ZR/ZR+ (Koherentne i dalekiego zasięgu) |
Okablowanie zoptymalizowane pod rail umieszcza GPU i każdego węzła na leaf i, więc osiem kabli węzła rozchodzi się do ośmiu różnych leaf — większość łączy GPU-leaf wychodzi poza szafę, a udział DAC jest mniejszy niż w klasycznych projektach ToR. Szczegóły: Wnętrze kabli.
Wybór złącza i światłowodu
| Optyka | Złącze | Światłowód | Uwagi |
|---|---|---|---|
| 400G DR4 / 800G DR8 | MPO-12 APC / MPO-16 APC (albo 2 × MPO-12) | SMF, Base-8/Base-16 | APC wszędzie przy równoległym jednomodzie; moduły z pinami, patchcordy bez pinów |
| 400G/800G SR8 / VR8 | MPO-16 UPC | OM4/OM5 | 50–100 m; tańsza optyka, droższy światłowód za metr |
| 400G FR4 / 2×FR4 | duplex LC / 2 × LC | SMF | mniej włókien, WDM wewnątrz modułu |
| NDR OSFP o podwójnym porcie | 2 × MPO-12 APC | SMF | dwa porty logiczne na moduł; kable rozdzielające 1:2 / 1:4 (Okablowanie IB) |
| DAC / AEC | brak | twinax | dane identyfikacyjne na obu końcach |
Metoda polaryzacji B od końca do końca dla magistrali MPO; magistrale Base-8 dla optyki 4-liniowej (Breakout i okablowanie MPO).
Moc i ciepło samej optyki
| Optyka | Moc | Na przełącznik 64-portowy |
|---|---|---|
| 400G DR4 QSFP-DD | 8–12 W | 0,5–0,8 kW |
| 800G DR8 / 2×FR4 OSFP | 14–18 W | 0,9–1,2 kW |
| Koniec 400G AOC | 3–5 W | — |
| Koniec 800G AEC | 4–6 W | — |
| DAC | 0 | — |
Panele czołowe przełącznika potrzebują więc niezakłóconego przepływu powietrza od przodu do tyłu; OSFP z użebrowaniem w przełącznikach, płaski szczyt w kartach NIC; wiązki kabli nie mogą blokować wlotu (Moc i temperatura, Temperatura i napięcie). Optyka liniowa (LPO) tnie moc modułu mniej więcej o połowę tam, gdzie obsługuje ją host (Modulacja i DSP).
Lista kontrolna instalacji i QA
- Kontrola wejściowa każdej optyki i końca kabla: dane identyfikacyjne, sumy kontrolne, żywy DDM, zapisana wartość bazowa (Produkcja i testy).
- Wygrzewanie nowej optyki przez 24–72 h w temperaturze roboczej przed wdrożeniem.
- Sprawdź i wyczyść każde MPO (końcówki mikroskopu APC dla APC) przy instalacji; nigdy nie łącz niesprawdzonego złącza.
- Oznakuj oba końce: węzeł/GPU/NIC ↔ leaf/port; kable rozdzielające według odgałęzienia.
- Promień gięcia i zarządzanie wagą — tace i wiązki dla DAC/AEC, pętle serwisowe dla światłowodu.
- Weryfikacja uruchomienia: każde łącze na pełnej szybkości i szerokości, FEC włączony, Rx na linię w zakresie 2 dB od pozostałych, pre-FEC BER < 10⁻⁷ w spoczynku (Metryki VDM i FEC).
- Zapisz DDM na linię i dane identyfikacyjne w fabric managerze / CMDB jako wartość bazową.
- Zapas według klasy medium i złącza; utrzymuj go wygrzanym.
Typowe usterki instalacyjne
| Usterka | Sygnatura |
|---|---|
| Patchcord UPC na APC DR4 | wszystkie linie niższe o 3–10 dB, oba końce |
| Magistrala o złej polaryzacji | wszystkie linie ciemne |
| Brudne MPO | jedna albo dwie linie niższe; wysoki pre-FEC BER na tych liniach |
| DAC za długi dla hosta | łącze o obniżonej szybkości albo migoczące |
| Zamienione odgałęzienia kabla rozdzielającego | porty łączą się z niewłaściwymi partnerami; niezgodność topologii w fabric managerze |
| OSFP z użebrowaniem w płaskiej klatce (albo odwrotnie) | nie osadza się / przegrzewa się |
W CodingBox
Kontrola wejściowa w takiej skali to proces, a nie wyrywkowe sprawdzenie: CodingBox odczytuje każdy moduł albo koniec kabla, weryfikuje dane identyfikacyjne i sumy kontrolne, zapisuje aktualny DDM na linię jako wartość bazową i przechowuje go pod numerem seryjnym w code database, dzięki czemu moduł wyjęty później z migoczącego portu można porównać z jego stanem z pierwszego dnia.