Binnenin een switch: ASIC, SerDes, poortgroepen, besturingsvlak

Een switchpoort is de laatste halte vóór de transceiver. Het silicium en de firmware achter die poort bepalen wat een module mag doen: welke snelheden mogelijk zijn, of breakout werkt, hoeveel poorten tegelijk op 25G kunnen werken en hoe vaak DDM wordt uitgelezen. Deze pagina opent de behuizing: de forwarding-ASIC en zijn SerDes, hoe lanes in poorten worden gegroepeerd, wat de CPU van het besturingsvlak met de tweeaderige bus doet en waar het vermogen en de koeling voor optiek vandaan komen.

De drie vlakken

Het datavlak is snel en voert geen beleidsbeslissingen uit; het besturingsvlak is traag en neemt de beslissingen. Daarom kan een module elektrisch foutloos zijn en toch ‘niet ondersteund’: de CPU heeft nee gezegd (Wat de host doet).

SerDes en lanes

Elke poort bestaat uit een bundel SerDes-lanes van de ASIC. Hun snelheid per lane is een eigenschap van de chipgeneratie:

Een module heeft een lanesnelheid nodig die de SerDes kan leveren. Een poort met 25G-SerDes stuurt een 10G-module alleen aan als de SerDes ook de lagere snelheid ondersteunt (wat meestal zo is). Een 50G-PAM4-lane kan op sommige chips niet worden teruggeschakeld naar een 25G-NRZ-lane; vandaar ‘deze poort ondersteunt geen 25G’ (Ethernetgeneraties).

Poortgroepen en snelheidsbeperkingen

SerDes zijn georganiseerd in quads: groepen van vier lanes die een klok/PLL delen. Dat heeft de volgende gevolgen:

• Snelheidsgroepen — op veel 25G-platforms moeten de vier SFP28-poorten van een quad allemaal op 10G of allemaal op 25G werken; mengen wordt geweigerd of leidt stilzwijgend tot een lagere snelheid (Snelheid en rate).
• Breakout — de vier lanes van een QSFP-poort kunnen alleen vier poorten worden als de ASIC en de PHY-toewijzing van de poort dat toestaan. Vaak kunnen slechts bepaalde poorten of elke tweede poort worden opgesplitst en schakelt breakout een naburige poort uit (Breakout- en MPO-bekabeling).
• FEC per poortgroep — de FEC-modus wordt soms binnen een groep gedeeld.
• Oversubscribed uplinks — sommige ontwerpen multiplexen meer lanes op het voorpaneel dan de ASIC heeft, zodat niet alle poorten tegelijk op volle snelheid kunnen werken.

De hardwarehandleiding van het platform vermeldt deze regels per poort; ze zijn niet in de module zichtbaar.

PHY's, retimers en gearboxes op het board

Tussen ASIC en cage kan een PHY (voor RJ45-poorten), een retimer (om signaalkwaliteit en timing over lange PCB-sporen in systemen met veel poorten te herstellen), een gearbox (bijvoorbeeld 2 × 50G-ASIC-lanes ↔ 4 × 25G-modulelanes in sommige 100G-ontwerpen) of een MACsec-engine zitten. Elk voegt latentie en eigen snelheids-/FEC-beperkingen toe en vormt een extra plaats waar een lane verkeerd kan zijn geconfigureerd. Of een poort ‘rechtstreeks op de ASIC is aangesloten’ is van belang voor LPO-optiek, waarvoor de eigen equalizer van de ASIC het signaal tot in de module moet brengen (Modulatie en DSP).

Het besturingsvlak en de tweeaderige bus

• De CPU bereikt module-EEPROM's via I²C-multiplexers (één bus per poort of per groep), vaak via een CPLD/FPGA die ook aanwezigheid, LPMode, reset- en interruptpinnen afhandelt (Tweeaderige interface).
• Het opstarten is een softwarevolgorde: detecteren → identiteit lezen → valideren → inschakelen → lanes configureren → Tx inschakelen → DDM uitlezen. NOS-releases verschillen in de volledigheid waarmee zij CMIS implementeren (CMIS-problemen).
• DDM-polling wordt door de CPU gepland, doorgaans elke paar seconden tot een minuut. Honderden poorten delen één beheer-CPU, zodat intensieve SNMP-polling deze kan vertragen (DDM met tools lezen).
• Beleid (whitelists, errdisable, overrides voor modules van derden) bestaat volledig uit code van het besturingsvlak (Hoe elk NOS een module valideert).

Vermogen en koeling voor optiek

Buffers, forwarding en hun relatie met optiek

Vrijwel niets, behalve dat congestiefuncties (PFC, ECN) wisselwerken met linkfouten: een poort die frames verliest door CRC ziet er voor opslag en RDMA uit als congestie (Lossless Ethernet). Forwardingcapaciteit (Tb/s), buffergrootte en tabelgrootten bepalen de rol van de switch (Rollen en topologieën), niet de optiek.

Standaardchips of eigen silicium, open of gesloten NOS

Het NOS-landschap en het gedrag ervan voor optiek: Netwerkbesturingssystemen.

In CodingBox

De switch neemt beslissingen op basis van de identiteitsbytes van de module; CodingBox toont en bewerkt juist die gegevens: ratecodes en applicaties die de SerDes moeten ondersteunen, de vermogensklasse voor de cage en connector en technologie voor het PHY-pad van de poort (Check transceiver, EEPROM editor).

De lanebundels die de SerDes aan de cage aanbieden — SFI, 25GAUI, CAUI-4, 400GAUI-8, 800GAUI-8 — met C2M-compliancepunten en lanetoewijzing: XGMII, XAUI en de AUI-familie; de volledige reeks van MII tot AUI: Mediaonafhankelijke interfaces.

Hoe deze onderdelen zijn verpakt — vast, chassis met linecards en fabric, stackbaar, industrieel, white-box — met luchtstroomrichting en redundantie: Switchklassen en vormfactoren; hoe de poorten worden genoemd zodra het systeem in het rack staat: Poortnamen en leds.