Depolama için kayıpsız Ethernet: DCB, PFC, ECN

Ethernet, tıkandığında çerçeveleri düşürür; Fibre Channel veya RDMA için tasarlanmış depolama protokolleri hiçbir şeyin asla düşürülmediğini varsayar. Veri Merkezi Köprüleme (DCB), öncelik başına akış kontrolü ve bant genişliği ayırma ile bu açığı kapatır, RoCE ise üzerine tıkanıklık sinyallemesi ekler. Sonuç, ancak en kötü bağlantısı kadar kayıpsızdır: milyonda bir çerçeve düşüren sınırda bir optik, bir depolama olayıdır. Bu sayfa mekanizmaları açıklar ve bunları fiziksel katman gereksinimlerine çevirir.

DCB araç takımı

Standart	Ad	Ne yapar
IEEE 802.1Qbb	PFC — öncelik tabanlı akış kontrolü	trafik sınıfı başına (0–7) duraklatma çerçeveleri: tıkanık bir alıcı, portu durdurmadan tek bir sınıfı durdurur
IEEE 802.1Qaz	ETS — gelişmiş iletim seçimi	sınıf başına garantili bant genişliği payları (örn. 50 % depolama, 50 % LAN)
IEEE 802.1Qaz	DCBX — DCB değişimi	anahtar ile NIC arasında PFC/ETS ayarlarının LLDP tabanlı anlaşması
IEEE 802.1Qau	CN — tıkanıklık bildirimi	nadiren kullanılır
RFC 3168 + DCQCN	ECN işaretleme + hız kontrolü	kuyruklar oluştuğunda anahtar paketleri işaretler; RoCE NIC’leri, PFC gerekmeden önce akışı yavaşlatır

RoCE kayıpsız nasıl kalır

Depolama/RDMA trafiği, DSCP veya 802.1p üzerinden bir ayrılmış önceliğe (genellikle 3 veya 4) etiketlenir.
Yol boyunca her portta PFC yalnızca o öncelik için etkinleştirilir; tampon headroom’u bağlantı hızına ve kablo uzunluğuna (uçuştaki baytlara) göre boyutlandırılır.
ECN eşikleri paketleri erken işaretler; NIC’ler hızlarını düşürmek için DCQCN çalıştırır, böylece PFC yalnızca son çare olarak devreye girer.
ETS, LAN yükü altında depolama sınıfına kendi bant genişliğini garanti eder.
DCBX, NIC ve anahtar ayarlarını tutarlı tutar; uyuşmazlıklar kayıpsızlığı sessizce bozar.

FC ve InfiniBand aynı sonuca varsayılan olarak her bağlantıda kredilerle ulaşır; Ethernet’te bunun yapılandırılması, doğrulanması ve izlenmesi gerekir (FC protokolü temelleri, InfiniBand taşıması).

Neler ters gidebilir

Sorun	Etki	Tespit
Bir hopta PFC etkin değil / yanlış öncelik	yük altında düşmeler; RDMA yeniden iletimleri; gecikme sıçramaları	sıfır olmaması gereken yerde sıfır duraklatma sayaçları; sınıfta düşmeler
PFC fırtınası	takılı kalan bir alıcı, yukarı yönü süresiz duraklatır; tıkanıklık fabric genelinde yayılır	duraklatma çerçevesi seli; watchdog sayaçları
PFC kilitlenmesi	Clos fabric’lerinde döngüsel tampon bağımlılığı; sınıftaki tüm trafik durur	kırmak için kilitlenme tespiti / watchdog gerekir
Uzun kablolar/optikler için headroom çok küçük	PFC’ye rağmen düşmeler	duraklatma sayaçları etkinken düşmeler
ECN eşikleri yanlış	çok erken: verim kaybı; çok geç: PFC selleri	ECN işaret sayaçları, NIC’lerde CNP sayaçları
Bir bağlantıda fiziksel hatalar (CRC, düzeltilemeyen FEC)	hiçbir akış kontrolünün kurtaramayacağı çerçeve kayıpları	port hata sayaçları, FEC sayaçları — VDM ve FEC ölçütleri

DCB’siz iSCSI

iSCSI, TCP üzerinden çalışır ve kaybı atlatır, ama bunun bedelini gecikme ve yeniden iletimle öder. DCB’den bağımsız olarak en iyi uygulama:

fabric başına ayrılmış VLAN’lar/alt ağlar, iki fabric, hostlarda MPIO;
uçtan uca jumbo çerçeveler (MTU 9000);
initiator’lar ile target’lar arasında oversubscription yok; array’e göre boyutlandırılmış 25G/100G üst bağlantılar;
her 25G+ bağlantıda FEC açık; sıfırda CRC sayaçları;
isteğe bağlı olarak, mikro burst’ları yumuşatmak için iSCSI sınıfında PFC (birçok array bunu önerir).

Fiziksel katman gereksinimleri

Gereksinim	Neden	Uygulama
Her 25G+ bağlantıda FEC etkin ve eşleşmiş	RoCE, korumasız 25G/50G şeritlerinin ham BER’ine tolerans gösteremez	FEC ve bağlantı eğitimi
CRC ve düzeltilemeyen FEC = 0	her kaybolan çerçeve bir kuyruğu durdurur	herhangi bir artışta uyar
Marjla birlikte pencere içinde Rx gücü	sınırda optikler, sıcaklık altında hata burst’ları üretir	Rx gücü ve bağlantı bütçesi
Tutarlı hız/dupleks/AN	DAC’ın her iki ucunda da AN + bağlantı eğitimi gerekir	Bakır ve DAC
Headroom varsayımları içinde kablo uzunluğu	headroom, uçuştaki baytlardan hesaplanır	rack içinde DAC, sıra içinde SR/AOC, odalar arasında DR/LR tercih edin
NIC ve anahtar tarafından kabul edilen kimlik	reddedilen optikler bağlantısız veya düşük hıza düşer	Satıcı kilidi

İzleme kontrol listesi

Port başına: öncelik başına gönderilen/alınan duraklatma çerçeveleri, ECN işaretleri, sınıf başına düşmeler, CRC, düzeltilmiş/düzeltilemeyen FEC, bağlantı çırpınmaları.
NIC başına: gönderilen/alınan CNP’ler, yeniden iletimler, sıra dışılık, zaman aşımları.
Optik başına: Rx/Tx gücü ve sıcaklık eğilimleri (İzleme).
Depolama kuyruk gecikmesi sıçramalarını yukarıdakilerle ilişkilendirin — suçlu, array’den daha sık fiziksel katmandır.

CodingBox’ta

Kayıpsız bir fabric, yalnızca daha yüksek bir standarda tabi tutulan sıradan optiklerden kurulur. Tezgâhtaki giriş muayenesi — kimlik, sağlama toplamları, tipik değerlere karşı canlı DDM, kaydedilen temel değer — tek bir kötü bağlantının bir uygulamanın gecikme SLA’sına mal olduğu bir fabric’ten sınırda modüllerin uzak tutulma yoludur (Check transceiver, DDM).

PFC ve ECN’nin diğer yönlendirme mekanizmaları arasındaki yeri ve fiziksel katman hatalarının bunlarda nasıl ortaya çıktığı: Yönlendirme temelleri.

Bu materyalde bir yanlışlık veya hata bulursanız ilgili bölümü seçin ve Ctrl+Enter tuşlarına basarak .