NIC-poorten, snelheden en PCIe-bandbreedte

Het voorpaneel van een NIC belooft ‘2 × 100G’; of de server daadwerkelijk 200 Gb/s kan verplaatsen, hangt af van het PCIe-slot achter de kaart. Of een bepaalde module werkt, hangt af van de cages en de lane-indeling van de controller, net als bij een switch, maar met minder poorten en een bus die gemakkelijk te krap kan zijn. Deze pagina behandelt de cages en snelheden van NICs, de regels voor dual-ratepoorten en breakoutkabels, de PCIe-berekening, de OCP 3.0-vormfactor en de vermogens- en koellimieten die voor optiek op kaarten van belang zijn.

Cages en snelheden op NICs

De compatibiliteitsregels voor cages zijn dezelfde als voor switches (Poorttypen en cages).

Dual-ratepoorten en snelheidsgroepen

• De meeste 25G-NICs laten elke poort onafhankelijk op 10G of 25G werken, zonder quadgroepering, maar enkele dual-portcontrollers delen een SerDes-groep en dwingen beide poorten tot dezelfde snelheid.
• 100G-kaarten ondersteunen vaak 40G-modules; 200G/400G-kaarten ondersteunen 100G-modules; meer dan één generatie teruggaan (1G in een SFP28, 10G in een QSFP56 via QSA) wordt zelden ondersteund.
• De snelheid staat gewoonlijk op auto volgens de conformiteitscodes van de module; forceren (ethtool -s … speed) is nodig wanneer de module dual-rate of niet herkend is (Hulpmiddelen).

Breakout op NICs

PCIe: de werkelijke poortsnelheid

De bruikbare doorvoer is na codering en pakketoverhead 85–90 % van de onbewerkte snelheid. Stem de poorten op de lanes af:

Een 2 × 100G-kaart in een Gen 3 x8-slot linkt op beide poorten met 100G en levert in totaal ~60 Gb/s: de optiek is in orde, de bus niet. Controleer lspci -vv op de overeengekomen linkbreedte en snelheid (LnkSta), en controleer de BIOS-instellingen voor bifurcatie.

OCP NIC 3.0

OCP-kaarten zitten aan de achterzijde van de server met een eigen luchtstroomkanaal; de modulekoeling is gewoonlijk beter dan bij een PCIe-kaart die tussen GPUs zit.

Vermogen en koeling voor optiek op kaarten

Multi-host en socket direct

Hoogwaardige kaarten kunnen zich aan twee CPU-sockets (twee x8- of x16-links) of aan meerdere hosts presenteren. De optische kant blijft ongewijzigd; de splitsing zit in PCIe. Dit is relevant voor 400G op Gen 4-platforms en voor GPU-servers waarin de NIC van elke GPU op een eigen PCIe-root moet zitten.

Controlelijst vóór u een NIC voor optiek koopt

1. Cagetype en de snelheden die de controller bij die cage ondersteunt.
2. PCIe-generatie en lanes in het doelslot tegenover de totale poortbandbreedte.
3. Breakout nodig? De controller moet poortsplitsing ondersteunen.
4. Modulebeleid van de driver (Optiekcompatibiliteit op NICs).
5. Vermogensbudget van de cage tegenover de geplande modules; aanwezigheid van een hulpvoedingsconnector.
6. Luchtstroom op de chassispositie; overweeg OCP 3.0 voor betere koeling.
7. Ondersteuning van OS/driver voor FEC-modi en snelheidsforcering.

In CodingBox

De conformiteitscodes en vermogensklasse van de module geven aan of deze geschikt is voor de cage en snelheid van de NIC; CodingBox leest ze voordat de module is geïnstalleerd, en de vragen over poortsplitsing en PCIe worden aan de serverzijde beantwoord (Check transceiver).