英偉達Blackwell平臺網絡配置分析

本文來自“英偉達Blachwell平臺網絡配置詳解”。GTC大會英偉達展示了全新的 Blackwell 平臺系列產品，包括 HGX B100 服務器、NVLINK Switch、GB200Superchip Computer Node、Quantum X800 交換機和 CX8 網卡（InfiniBand 方案）、ETH Spectrum X800 交換機和 BF3 網卡（以太網方案）。

1. Blackwell 平臺網絡配置分析

從網絡配置的角度，英偉達提供了第五代 NVLINK、第六代 PCIE、單端口800Gbit/s 的 IB 和以太網網卡、1.6T 光模塊需求。從目前英偉達公布的產品介紹看，這些升級后的網絡能力可能不會第一時間全部配置在最新的 DGX B200 服務器上，而是在后續的產品中逐步升級。從英偉達公布的產品說明材料看，DGX B200 服務器配置 8 顆 NVIDIA B200 Tensor Core GPUs，4 個 800G OSPF 光模塊，最大功耗為 14.3kW。

2 DGX GB200： NVLink domain 提升至 576 GPUs

采用 DGX GB200 系統的 NVIDIA DGX SuperPOD 專為訓練和推理萬億參數生成式AI 模型而構建。每個液冷機架配備 36 個 NVIDIA GB200 Grace Blackwell 超級芯片（36 個 NVIDIA Grace CPU 和 72 個 Blackwell GPU），與 NVIDIA NVLink 連接為一體。多個機架與 NVIDIA Quantum InfiniBand 連接，可擴展到數萬個 GB200 超級芯片。

GB200 可以在單機柜內搭建包含 36 個或者 72 個 GPU 的 NVLink domain。一個機柜內包含 18 個計算節點和 9 臺 L1 NVLink Switch?；诘谖宕?NVLink 技術，每個 NVLink 交換機可以提供 144 個 100GB NVLink 端口。通過機柜內的 9 個 L1NVLink Switch 可以合計 提 供 1296 個 100GB NVLink 端口 ，機柜 內的每 個Blackwell GPUs 可以獲得 18 個端口，合計 1.8T 的 NVLink 帶寬。

GB200 NVL72 使用了一個定制化的 Copper cable cartridge 實現機柜內 9 個L1 NV Switch 和 18 個計算節點的 NVLink 連接。英偉達介紹 NVIDIA GB200 NVL72可以在一個 NVLink domain 內連接 576 個 GPU。英偉達當前公布的 GB200 NVL72 配置了 72 個 CX7 網口（OSFP 400Gb/s InfiniBand），并沒有使用最新的 CX8 網卡。

3 全新 IB 交換機，雙層胖樹支持萬卡集群

NVIDIA Quantum-X800 Q3400-RA 是一臺 4U 的 IB 交 換機 ，對比 上一 代Quantum-9700 交換機設備尺寸提升了一倍。Quantum-X800 也是英偉達第一款使用200Gb/s-per-lane SerDes 方案的交換機設備，通過 72 個 OSPF 1.6T 光模塊提供144 個 800G 端口。英偉達指出，基于 Quantum-X800 的高性能，兩層胖樹網路拓撲就可以連接 10386 個網絡接口卡。

GTC 大會上，英偉達推出的 Spectrum-X800 SN5600 是一臺 51.2T 端口容量的以太網交換機，可以配置 64 個 OSPF 800G 光模塊。

4 新平臺依然需要 800G 和 400G 光模塊

從 GTC 大會的介紹看，BLACKWELL 平臺會帶來第五代 NVLINK、第六代 PCIE、第八代 IB 網絡應用。但是在當前早期交付的產品中依然會采用 800G 和 400G 光模塊。其中 DGX B200 服務器配置通過 4 個 800G OSPF 光模塊提供 8 個 400G 端口，這和DGX H100 服務器的配置相同。

我們認為 B200 GPU 和 800 光模塊的配置比例和 H100 GPU 保持一致。而 GB200NVL72 需要配置 72 個 OSPF 400G 光模塊，以便通過 IB 網絡實現萬卡集群的連接。

5 新的IB網絡帶來1.6T光模塊需求

NVIDIA Quantum-X800 Q3400-RA 和 CX8 NIC 則明確需要配置 1.6T 光模塊。和上一代 IB 網絡相比，主要的變化是 Quantum-X800 的端口能力提升至 115.2T，可以通過兩層胖樹拓撲實現 10386 個網絡接口卡的連接，萬卡規模 Blackwell GPU 集群使用 IB 網絡組網的成本得到優化。我們認為這會弱化以太網方案的價格優勢，提升 IB 網絡方案的競爭力。

6 NVLink domain 容量擴展帶來新增的銅纜連接需求

通過第五代 NVLINK 從 900GB 提升至 1800GB，單個 NVLINK domain 的 GPU 數量提升至 576 個。最大的變化是 L1 NV Switch 從服務器 PCB 板載芯片的形式調整為機柜內的 9 臺交換機，連接能力提升至 72 個 GPU，需要使用銅纜實現機柜內的NVLINK 連接。

而如何實現 576 個 GPU 連接，目前英偉達還沒有給出具體的連接方案，但是鑒于目前最新的 IB 交換機能力，我們認為連接 576 個 GPU 需要 L2 NV Switch。最終的方案使用銅纜還是光模塊，核心是銅纜的連接距離是否可以滿足 8 個機柜的連接需求，低成本的銅纜連接方案會是優先選項。

審核編輯：黃飛