Przegląd sieci dla AI

Trenowanie dużych modeli AI rozkłada pracę na wiele GPU na wielu serwerach. To sieć między nimi — a nie pojedyncze GPU — często decyduje o tym, jak szybko klaster może trenować, dlatego fabric AI opierają się na transceiverach optycznych o najwyższej dostępnej przepustowości.

Dlaczego sieć ma krytyczne znaczenie

• Operacje zbiorowe — GPU nieustannie wymieniają gradienty i parametry we wzorcach all-to-all, generując duży ruch wschód-zachód.
• Liczy się latencja ogonowa — krok czeka na najwolniejsze łącze, więc stała niska latencja i bezstratne dostarczanie są kluczowe.
• Skala — tysiące GPU oznaczają gęste przełączniki o wysokim radix i ogromne liczby sztuk optyki.

Dwa style fabric

• InfiniBand — od dawna ugruntowany w HPC, z RDMA i bezstratną kontrolą przepływu (zobacz InfiniBand).
• Ethernet z RoCE — RDMA over Converged Ethernet, coraz częściej używany dla AI na dużą skalę na bezstratnym Ethernecie.

Optyka

Łącza AI to zwykle 400G i 800G, na modułach QSFP-DD i OSFP. Konkretne wybory połączeń i optyki omawia Połączenia AI i optyka.

Obowiązują te same formaty obudowy i pamięć zarządzająca — CodingBox odczytuje te szybkie moduły tak samo jak każde inne.

Dalsza lektura

• Okablowanie klastra AI — liczby łączy na GPU, odległości w układach zoptymalizowanych pod rail, mieszanka DAC/AEC/AOC/DR, wybór złączy, moc optyki, QA instalacji.
• Niezawodność i monitorowanie łącza w fabric AI — dlaczego jedno łącze zatrzymuje zadanie, arytmetyka FIT, metryki predykcyjne, architektura monitorowania, izolacja i zapobieganie.