Basisprincipes van de InfiniBand-fabric

Een InfiniBand-fabric gedraagt zich op manieren die voor linkdiagnose belangrijk zijn anders dan een Ethernet-netwerk. Deze pagina behandelt de begrippen die een optiekengineer tegenkomt: de subnetmanager, verliesloze flowcontrol, topologieën en hoe een slechte link zichtbaar wordt.

De subnetmanager

Elk IB-subnet heeft één actieve Subnet Manager (SM). Die ontdekt alle poorten en switches, wijst lokale identificaties (LID’s) toe, berekent doorstuurtabellen en programmeert die in elke switch. Wanneer een link flapt, scant de SM de fabric opnieuw. Daardoor verliest een marginale optische module niet alleen één link, maar veroorzaakt zij fabricbrede routeringsgebeurtenissen die iedereen merkt.

Verliesloos door credits

IB-links laten in normaal bedrijf nooit pakketten vallen: een zender verzendt alleen wanneer de ontvanger buffer-credits heeft aangekondigd. Congestie oefent dus tegendruk uit in plaats van pakketten weg te gooien. Een gedegradeerde link (oplopende symbol errors, FEC-correcties) vertraagt daardoor de hele taak die ervan afhangt: het probleem van ‘één trage link’ bij collectieve bewerkingen.

Topologieën

Fat-tree (Clos) — de standaard: leaf-switches verbinden hosts, spine-switches verbinden leaves, met voldoende uplinks om niet-blokkerend te zijn. De meeste links zijn leaf–spine-optiek.
Varianten van Dragonfly+ en torus komen voor in de grootste systemen om switches en kabels te besparen.
Voor AI plaatsen rail-geoptimaliseerde ontwerpen de NIC van elke GPU op een aparte ‘rail’ van de fabric, zodat GPU’s met dezelfde rang over servers één hop van elkaar verwijderd zijn; zie GPU-fabrictopologieën.

RDMA en GPUDirect

Applicaties gebruiken RDMA-verbs om gegevens tussen nodegeheugens te verplaatsen zonder CPU-kopieën; GPUDirect RDMA breidt dit uit naar GPU-geheugen. Daardoor is een fabricstoring voor applicaties zichtbaar als een stilstand of timeout in een collectieve bewerking, vaak lang voordat een beheerder een poort down ziet.

Hoe een slechte link eruitziet

Symptoom in de fabric	Te controleren oorzaak in de fysieke laag
Oplopende symbol errors / door FEC gecorrigeerde blokken op één poort	vervuilde MPO, marginaal Rx-vermogen, verslechterende lane
Link blijft op lagere breedte of snelheid	FEC-mismatch, module adverteert niet de verwachte snelheid
Poort ‘Not supported’, geen link	niet-herkende module-identiteit — fabrikantvergrendeling
Herhaalde SM-scans	ergens een flappende link — vind die via fouttellers per poort

Volg de gebruikelijke diagnostische ladder: niveaus → reinigen → omwisselen → kabel.

In CodingBox

Lees een verdachte IB-module op de werkbank uit: Rx/Tx en bias per lane op het scherm DDM laten zien of één lane van een SR4/DR4-module sterft, en de identiteitsvelden tonen of de fabric een vervanging accepteert.

De protocollagen, queue pairs en functies van de subnetmanager in detail: IB-protocol en transport; bekabeling van de fabric per generatie en bereik: IB-bekabeling.

Vindt u een onjuistheid of fout in dit materiaal? Selecteer het betreffende fragment en druk op Ctrl+Enter om .