NIC portları, hızlar ve PCIe bant genişliği · Ağ arayüz kartları · Ağ kartları ve anahtarlar · Belgeler · CodingBox
CodingBox Belgeler

NIC portları, hızlar ve PCIe bant genişliği

Bir NIC’in ön paneli “2 × 100G” vaat eder; sunucunun gerçekten 200 Gb/s taşıyıp taşıyamayacağı kartın arkasındaki PCIe yuvasına, belirli bir modülün çalışıp çalışmayacağı ise kafeslere ve denetleyicinin şerit haritasına bağlıdır — tıpkı bir anahtarda olduğu gibi, ama daha az portla ve kolayca yetersiz boyutlandırılabilen bir veri yoluyla. Bu sayfa NIC’lerde bulunan kafesleri ve hızları, çift hızlı portlar ve breakout kabloları için kuralları, PCIe aritmetiğini, OCP 3.0 form faktörünü ve kartlardaki optikler için önemli olan güç ve soğutma sınırlarını listeler.

NIC’lerde kafesler ve hızlar

KafesNIC’lerde görülen hızlarTipik denetleyicilerNotlar
SFP+10G (bazılarında 1G)Intel X520/X710, Broadcom 5741x1G desteği değişir; kartın spesifikasyonunu kontrol edin
SFP2825G, 10G (1G nadir)Intel XXV710/E810-XXV, ConnectX-4 Lx/-6 Lx, Broadcom P22525G, FEC anlaşması gerektirir (FEC ve AN)
SFP5650G, 25G, 10GConnectX-6 Lx/Dx (bazı)PAM4 şeritleri
QSFP28100G, 4 × 25G, 2 × 50G, 40G, 4 × 10GIntel E810-CQDA2, ConnectX-5/6, Broadcom P2100breakout yalnızca denetleyicinin izin verdiği yerde kablo üzerinden
QSFP56200G, 100G, 2 × 100GConnectX-6 Dx/-7, Broadcom P2200, Pensando—
QSFP112400G, 200G, 100G, 4 × 100GConnectX-7, Broadcom P1400GDşerit başına 100G; QSFP28/56’yı kabul eder
QSFP-DD400G, 2 × 200G, 4 × 100GBroadcom BCM57608—
OSFP (çift port)2 × 400G, 800GConnectX-7/-8, BlueField-3Nvidia çift port tasarımlarında bir kafes, iki mantıksal port
RJ451G / 10GBASE-T / mGigX550, X710-T, BCM57416modül yok, PHY kartın üzerinde

Kafes uyumluluk kuralları, anahtarlardakiyle aynıdır (Port türleri ve kafesler).

Çift hızlı portlar ve hız grupları

  • Çoğu 25G NIC, her portu 10G veya 25G’de bağımsız olarak çalıştırır — dörtlü gruplama yoktur — ama birkaç çift portlu denetleyici bir SerDes grubunu paylaşır ve her iki portta da aynı hızı zorlar.
  • 100G kartlar genellikle 40G modülleri destekler; 200G/400G kartlar 100G modülleri destekler; birden fazla nesil aşağı inmek (bir SFP28’de 1G, QSA üzerinden bir QSFP56’da 10G) nadiren desteklenir.
  • Hız genellikle modülün uyumluluk kodlarından otomatik belirlenir; modül çift hızlı veya tanınmıyorsa zorlamak (ethtool -s … speed) gerekir (Araçlar).

NIC’lerde breakout

DurumÇalışır mı?
100G QSFP28 NIC portu → bir anahtara 4 × 25G (DAC ayırıcı)yalnızca denetleyici “4 × 25G port bölme” modunu destekliyorsa (birçok Nvidia ve Broadcom kartı destekler, çoğu Intel kartı desteklemez); kart o zaman 4 netdev gösterir
Anahtarın 100G portu → dört NIC SFP28 portuna 4 × 25Gevet — bu yaygın yöndür; bölme anahtar üzerinde yapılandırılır (Breakout ve MPO)
400G OSFP çift port → 2 × 400G veya 4 × 200G / 8 × 100GNvidia çift port kartları: kafes başına 2 mantıksal port; ileri bölme ürün yazılımına bağlıdır
Bir QSFP28 portundan 2 × 50Gbazı denetleyicilerde

PCIe: gerçek port hızı

PCIe nesliŞerit başına (ham)x8 kullanılabilir (≈)x16 kullanılabilir (≈)
Gen 38 GT/s56–63 Gb/s112–126 Gb/s
Gen 416 GT/s112–126 Gb/s225–252 Gb/s
Gen 532 GT/s225–252 Gb/s450–504 Gb/s
Gen 664 GT/s~450–500 Gb/s~900–1 000 Gb/s

Kullanılabilir verim, kodlama ve paket ek yükünden sonra ham değerin %85–90’ıdır. Portları şeritlerle eşleştirin:

KartPortlarGereken
2 × 25G50 Gb/sGen 3 x8
2 × 100G200 Gb/sGen 4 x16 (Gen 3 x16, ~126’da doyuma ulaşır)
1 × 200G / 2 × 100G Gen 4200 Gb/sGen 4 x16
2 × 200G400 Gb/sGen 5 x16
1 × 400G400 Gb/sGen 5 x16 (veya “socket direct”/çoklu host üzerinden iki x16)
2 × 400G800 Gb/sGen 6 x16 veya iki Gen 5 x16

Bir Gen 3 x8 yuvasındaki bir 2 × 100G kart, her iki portta da 100G’de bağlanır ve toplam ~60 Gb/s sağlar — optikler sorunsuzdur, veri yolu değildir. Anlaşılan bağlantı genişliği ve hızı için (LnkSta) lspci -vv’yi ve BIOS bifurkasyon ayarlarını kontrol edin.

OCP NIC 3.0

ÖğeSFF (küçük form faktörü)LFF (büyük)
Boyut76 × 115 mm139 × 115 mm
PCIex16’ya kadarx32’ye kadar (iki x16)
Güç80 W’a kadar150 W’a kadar
Portlar2–4 × SFP28/QSFP28/QSFP56/QSFP1122 × QSFP-DD/OSFP veya daha fazla
Optiğe erişimmodülün önünden, aletsizaynı

OCP kartları, kendi hava akımı kanallarıyla sunucunun arkasında bulunur; modül soğutması genellikle GPU’lar arasına gömülü bir PCIe kartına göre daha iyidir.

Kartlardaki optikler için güç ve soğutma

ÖğeSınır / kural
PCIe yuvası gücü25 W (x1…x8 düşük profil), 75 W (x16); 400G kartlar 8 pinli bir yardımcı konektör kullanır
NIC’lerde kafes başına bütçeSFP28: 1,5 W (seviye II); QSFP28: 3,5–4,5 W; QSFP56/112: 5–8 W; QSFP-DD/OSFP: 12–20 W — kartın veri sayfası bunu belirtir (Güç ve tüketim)
Hava akımıkart boyunca 200–300 LFM; CPU egzozuna yakın bir 1U sunucudaki kartta optikler ısınır — 60 °C üzerinde DDM sıcaklığı yaygındır
Termal kısıtlamabazı denetleyiciler, modül yüksek sıcaklık bildirdiğinde modülü düşük güce indirir veya portu kapatır
NIC’lerde koherent / ZRstandart NIC’lerde desteklenmez — sınıf 8, kafes bütçesini aşar

Çoklu host ve socket direct

Üst düzey kartlar kendilerini iki CPU soketine (iki x8 veya x16 bağlantı) veya birkaç hosta sunabilir. Optik taraf değişmez; bölünme PCIe’dedir. Gen 4 platformlarda 400G için ve her GPU’nun NIC’inin kendi PCIe kökünde bulunması gereken GPU sunucuları için önemlidir.

Optik için bir NIC satın almadan önce kontrol listesi

  1. Kafes türü ve denetleyicinin o kafeste desteklediği hızlar.
  2. Hedef yuvadaki PCIe nesli ve şeritlere karşı toplam port bant genişliği.
  3. Breakout gerekiyor mu? Denetleyici port bölmeyi desteklemelidir.
  4. Sürücünün modül politikası (NIC’lerde optik uyumluluğu).
  5. Planlanan modüllere karşı kafes güç bütçesi; yardımcı güç konektörünün varlığı.
  6. Kasa konumundaki hava akımı; daha iyi soğutma için OCP 3.0’ı değerlendirin.
  7. FEC modları ve hız zorlaması için işletim sistemi/sürücü desteği.

CodingBox’ta

Modülün uyumluluk kodları ve güç sınıfı, NIC’in kafesine ve hızına hizmet edip edemeyeceğini söyler; CodingBox bunları modül takılmadan önce okur, port bölme ve PCIe soruları ise sunucu tarafında çözülür (Check transceiver).


Bu materyalde bir yanlışlık veya hata bulursanız ilgili bölümü seçin ve Ctrl+Enter tuşlarına basarak .