Im Inneren eines Switches: ASIC, SerDes, Portgruppen, Control Plane

Ein Switch-Port ist die letzte Station vor dem Transceiver. Das meiste, was einem Modul erlaubt ist (welche Geschwindigkeiten, ob Breakout funktioniert, wie viele Ports gleichzeitig mit 25G laufen können, wie schnell DDM abgefragt wird), entscheiden Silizium und Firmware hinter diesem Port. Diese Seite öffnet das Gehäuse: der Forwarding-ASIC und sein SerDes, wie Lanes zu Ports gruppiert werden, was die Control-Plane-CPU mit dem Zweidraht-Bus macht, und woher Leistung und Wärme für die Optik kommen.

Die drei Ebenen

Die Data Plane ist schnell und dumm; die Control Plane ist langsam und trifft die Entscheidungen. Deshalb kann ein Modul elektrisch einwandfrei und trotzdem „unsupported“ sein: Die CPU hat Nein gesagt (Was der Host macht).

SerDes und Lanes

Jeder Port ist ein Bündel aus SerDes-Lanes des ASIC. Ihre Rate pro Lane ist eine Eigenschaft der Chip-Generation:

Ein Modul braucht eine Lane-Rate, die der SerDes erzeugen kann. Ein 25G-SerDes-Port steuert ein 10G-Modul nur an, wenn der SerDes auch die niedrigere Rate unterstützt (die meisten tun das); eine 50G-PAM4-Lane lässt sich bei manchen Chips nicht zu einer 25G-NRZ-Lane herunterbremsen – daher „dieser Port unterstützt kein 25G“ (Ethernet-Generationen).

Portgruppen und Geschwindigkeitsbeschränkungen

SerDes sind in Quads organisiert (Gruppen von vier Lanes, die sich einen Takt/PLL teilen). Konsequenzen:

• Geschwindigkeitsgruppen – auf vielen 25G-Plattformen müssen die vier SFP28-Ports eines Quads entweder alle mit 10G oder alle mit 25G laufen; Mischen wird verweigert oder führt stillschweigend zur Herabstufung (Geschwindigkeit und Rate).
• Breakout – die vier Lanes eines QSFP-Ports werden nur dann zu vier Ports, wenn der ASIC und die PHY-Zuordnung des Ports es erlauben; oft können nur bestimmte Ports (oder jeder zweite) aufgeteilt werden, und das Aktivieren von Breakout deaktiviert einen Nachbarn (Breakout und MPO-Verkabelung).
• FEC pro Portgruppe – der FEC-Modus wird manchmal gruppenweit geteilt.
• Überbuchte Uplinks – manche Designs multiplexen mehr Frontplatten-Lanes, als der ASIC hat, sodass nicht alle Ports gleichzeitig mit voller Rate laufen können.

Das Hardware-Handbuch der Plattform listet diese Regeln pro Port auf; im Modul sind sie nicht sichtbar.

PHYs, Retimer und Gearboxen auf der Platine

Zwischen ASIC und Käfig kann ein PHY sitzen (für RJ45-Ports), ein Retimer (um lange Leiterbahnen auf Boxen mit hohem Radix zu bereinigen), eine Gearbox (z. B. 2 × 50G-ASIC-Lanes ↔ 4 × 25G-Modul-Lanes bei manchen 100G-Designs) oder eine MACsec-Engine. Jede fügt Latenz und eigene Geschwindigkeits-/FEC-Grenzen hinzu, und jede ist eine weitere Stelle, an der eine Lane falsch konfiguriert sein kann. Ob ein Port „direkt am ASIC angebunden“ ist, ist für LPO-Optik von Bedeutung, die den eigenen Entzerrer des ASIC braucht, um das Modul zu erreichen (Modulation und DSP).

Die Control Plane und der Zweidraht-Bus

• Die CPU erreicht Modul-EEPROMs über I²C-Multiplexer (ein Bus pro Port oder pro Gruppe), oft über ein CPLD/FPGA, das auch Presence-, LPMode-, Reset- und Interrupt-Pins verwaltet (Zweidraht-Schnittstelle).
• Der Bring-up ist eine Software-Sequenz: erkennen → Identität lesen → validieren → hochfahren → Lanes konfigurieren → Tx aktivieren → DDM abfragen; NOS-Versionen unterscheiden sich darin, wie gründlich sie CMIS implementieren (CMIS-Probleme).
• Das DDM-Polling wird von der CPU getaktet, typischerweise alle paar Sekunden bis zu einer Minute; Hunderte Ports teilen sich eine Management-CPU, sodass intensives SNMP-Polling sie ausbremsen kann (DDM mit Tools auslesen).
• Richtlinien (Whitelists, errdisable, Drittanbieter-Overrides) sind reiner Control-Plane-Code (Wie jedes NOS ein Modul validiert).

Leistung und Kühlung für Optik

Puffer, Forwarding und was sie mit Optik zu tun haben

Fast nichts, außer dass Überlastfunktionen (PFC, ECN) mit Link-Fehlern zusammenwirken: Ein Port, der Frames wegen CRC verwirft, wirkt auf Storage und RDMA wie eine Überlast (Verlustfreies Ethernet). Forwarding-Kapazität (Tb/s), Puffergröße und Tabellengrößen entscheiden über die Rolle des Switches (Rollen und Topologien), nicht seine Optik.

Merchant- vs. Custom-Silizium, offenes vs. geschlossenes NOS

Die NOS-Landschaft und ihr Verhalten gegenüber Optik: Netzwerkbetriebssysteme.

In CodingBox

Die Entscheidungen des Switches beruhen auf den Identitäts-Bytes des Moduls, und genau die zeigt und bearbeitet CodingBox: Ratencodes und Applikationen, die der SerDes unterstützen muss, Leistungsklasse gegenüber dem Käfig, Steckverbinder und Technologie für den PHY-Pfad des Ports (Check transceiver, EEPROM editor).

Die Lane-Bündel, die der SerDes an den Käfig übergibt: SFI, 25GAUI, CAUI-4, 400GAUI-8, 800GAUI-8, mit C2M-Compliance-Punkten und Lane-Mapping in XGMII, XAUI und die AUI-Familie; die gesamte Leiter von MII bis AUI: Medienunabhängige Schnittstellen.

Wie diese Teile verpackt werden: fest, Chassis mit Line Cards und Fabric, stapelbar, industrietauglich, White-Box, mit Luftstromrichtung und Redundanz in Switch-Klassen und Formfaktoren; wie die Ports heißen, sobald die Box im Rack steckt: Port-Bezeichnung und LEDs.