Dentro uno switch: ASIC, SerDes, gruppi di porte, piano di controllo

Una porta dello switch è l’ultima tappa prima del ricetrasmettitore, e gran parte di ciò che un modulo può fare — quali velocità, se il breakout funziona, quante porte possono funzionare a 25G contemporaneamente, quanto velocemente viene interrogato il DDM — è deciso dal silicio e dal firmware dietro quella porta. Questa pagina apre la scatola: l’ASIC di forwarding e il suo SerDes, come le lane sono raggruppate in porte, cosa fa la CPU del control plane con il bus a due fili, e da dove vengono la potenza e il calore per l’ottica.

I tre piani

Il data plane è veloce e stupido; il control plane è lento e prende le decisioni. È per questo che un modulo può essere elettricamente perfetto eppure «non supportato»: è la CPU che ha detto no (Cosa fa l’host).

SerDes e lane

Ogni porta è un fascio di lane SerDes provenienti dall’ASIC. Il loro rate per lane è una proprietà della generazione del chip:

Un modulo richiede un rate di lane che il SerDes possa produrre. Una porta con SerDes a 25G pilota un modulo 10G solo se il SerDes supporta anche il rate inferiore (la maggior parte lo fa); una lane PAM4 a 50G non può essere rallentata in una lane NRZ a 25G su alcuni chip — da qui «questa porta non supporta il 25G» (Generazioni Ethernet).

Gruppi di porte e vincoli di velocità

I SerDes sono organizzati in quad (gruppi di quattro lane che condividono un clock/PLL). Conseguenze:

• Gruppi di velocità — su molte piattaforme 25G le quattro porte SFP28 di un quad devono funzionare tutte a 10G o tutte a 25G; mescolare viene rifiutato oppure esegue un downgrade silenzioso (Velocità e rate).
• Breakout — le quattro lane di una porta QSFP possono diventare quattro porte solo se l’ASIC e la mappatura PHY della porta lo consentono; spesso solo certe porte (o una porta sì e una no) possono fare breakout, e abilitare il breakout disabilita una vicina (Breakout e cablaggio MPO).
• FEC per gruppo di porte — la modalità FEC è a volte condivisa in tutto un gruppo.
• Uplink in oversubscription — alcuni design multiplexano più lane sul pannello frontale di quante ne abbia l’ASIC, così non tutte le porte possono funzionare a piena velocità contemporaneamente.

La guida hardware della piattaforma elenca queste regole per porta; non sono visibili nel modulo.

PHY, retimer e gearbox sulla scheda

Tra l’ASIC e la gabbia possono trovarsi un PHY (per le porte RJ45), un retimer (per ripulire tracce PCB lunghe su apparati ad alta densità), un gearbox (per esempio 2 × 50G lane ASIC ↔ 4 × 25G lane modulo in alcuni design 100G) oppure un motore MACsec. Ognuno aggiunge latenza e proprie limitazioni di velocità/FEC, ed è un altro punto dove una lane può essere configurata male. Se una porta è «collegata direttamente all’ASIC» è importante per l’ottica LPO, che ha bisogno dell’equalizzatore dell’ASIC stesso per raggiungere il modulo (Modulazione e DSP).

Il control plane e il bus a due fili

• La CPU raggiunge gli EEPROM dei moduli tramite multiplexer I²C (un bus per porta o per gruppo), spesso tramite un CPLD/FPGA che gestisce anche i pin di presenza, LPMode, reset e interrupt (Interfaccia a due fili).
• Il bring-up è una sequenza software: rileva → leggi identità → convalida → accendi → configura le lane → abilita Tx → interroga il DDM; le release dei NOS differiscono per quanto a fondo implementano CMIS (Problemi CMIS).
• Il polling del DDM è pianificato dalla CPU — tipicamente ogni pochi secondi fino a un minuto; centinaia di porte condividono una sola CPU di management, quindi un polling SNMP pesante può rallentarla (Leggere il DDM con gli strumenti).
• La policy (whitelist, errdisable, override di terze parti) è puro codice del control plane (Come ogni NOS convalida un modulo).

Alimentazione e raffreddamento per l’ottica

Buffer, forwarding e cosa hanno a che fare con l’ottica

Quasi niente — salvo che le funzioni di congestione (PFC, ECN) interagiscono con gli errori di collegamento: una porta che scarta frame per CRC sembra congestione per lo storage e l’RDMA (Ethernet lossless). La capacità di forwarding (Tb/s), la dimensione dei buffer e delle tabelle decidono il ruolo dello switch (Ruoli e topologie), non la sua ottica.

Silicio commerciale contro custom, NOS aperto contro chiuso

Il panorama dei NOS e i loro comportamenti verso l’ottica: Panorama dei NOS.

In CodingBox

Le decisioni dello switch si basano sui byte di identità del modulo, ed è esattamente ciò che CodingBox mostra e modifica: codici di rate e applicazioni che il SerDes deve supportare, classe di potenza rispetto alla gabbia, connettore e tecnologia per il percorso PHY della porta (Check transceiver, EEPROM editor).

I fasci di lane che il SerDes consegna alla gabbia — SFI, 25GAUI, CAUI-4, 400GAUI-8, 800GAUI-8 — con i punti di conformità C2M e la mappatura delle lane: XGMII, XAUI e la famiglia AUI; l’intera scala da MII ad AUI: Interfacce indipendenti dal mezzo.

Come vengono confezionati questi apparati — fissi, chassis con line card e fabric, stackabili, industriali, white-box — con direzione del flusso d’aria e ridondanza: Classi di switch e fattori di forma; come si chiamano le porte una volta che l’apparato è in rack: Denominazione delle porte e LED.