Bases du fabric InfiniBand

Une fabric InfiniBand se comporte différemment d’un réseau Ethernet, de façons qui comptent quand vous diagnostiquez une liaison. Cette page couvre les concepts que rencontre un ingénieur optique : le subnet manager, le contrôle de flux sans perte, les topologies et la manière dont se manifeste une mauvaise liaison.

Le subnet manager

Chaque subnet IB a un Subnet Manager (SM) actif. Il découvre tous les ports et commutateurs, attribue les identifiants locaux (LID), calcule les tables de routage et les programme dans chaque commutateur. Quand une liaison connaît du flapping, le SM rebalaie la fabric — donc une optique marginale ne fait pas que perdre une liaison, elle déclenche des événements de re-routage à l’échelle de la fabric que tout le monde remarque.

Sans perte grâce aux crédits

Les liaisons IB ne perdent jamais de paquets en fonctionnement normal : un émetteur ne transmet que lorsque le récepteur a annoncé des crédits de tampon. La congestion produit donc de la contre-pression plutôt que des pertes, et une liaison dégradée (erreurs de symbole croissantes, corrections FEC) ralentit tout le travail qui en dépend — le problème de « liaison lente unique » dans les opérations collectives.

Topologies

Fat-tree (Clos) — la norme : les commutateurs leaf connectent les hôtes, les commutateurs spine connectent les leaf, avec suffisamment de liaisons montantes pour être non bloquant. La plupart des liaisons sont des optiques leaf-spine.
Les variantes Dragonfly+ et torus apparaissent dans les plus grands systèmes pour économiser des commutateurs et des câbles.
Les conceptions optimisées en rails pour l’IA placent le NIC de chaque GPU sur un « rail » distinct de la fabric, afin que les GPU de même rang entre serveurs soient à un saut l’un de l’autre — voir Topologies de fabric GPU.

RDMA et GPUDirect

Les applications utilisent les verbes RDMA pour déplacer des données entre les mémoires des nœuds sans copie CPU ; GPUDirect RDMA étend cela à la mémoire GPU. Il en résulte qu’un défaut de fabric est visible pour les applications sous forme de blocage ou de timeout dans une opération collective, souvent bien avant qu’un opérateur ne voie un port down.

À quoi ressemble une mauvaise liaison

Symptôme dans la fabric	Cause de couche physique à vérifier
Erreurs de symbole croissantes / blocs corrigés par FEC sur un port	MPO sale, puissance Rx marginale, voie en dégradation
Liaison bloquée à une largeur ou un débit inférieur	incompatibilité FEC, module n’annonçant pas le débit attendu
Port « Not supported », pas de liaison	identité de module non reconnue — verrouillage constructeur
Balayages SM répétés	une liaison qui fait du flapping quelque part — la trouver via les compteurs d’erreurs par port

Suivez l’échelle de diagnostic habituelle : niveaux → nettoyage → échange → câble.

Dans CodingBox

Lisez un module IB suspect sur le banc : Rx/Tx et bias par voie sur l’écran DDM montrent si une voie d’un module SR4/DR4 est en train de mourir, et les champs d’identité montrent si la fabric acceptera un remplacement.

Les couches du protocole, les queue pairs et les fonctions du subnet manager en détail : Protocole et transport IB ; le câblage de la fabric par génération et portée : Câblage IB.

Si vous trouvez une inexactitude ou une erreur dans cet article, sélectionnez le passage concerné et appuyez sur Ctrl+Enter pour .