NVLink技術之GPU與GPU的通信

計算機硬件的通信方式大體分為兩種類型：機器內通信、機器間通信。

其中：NVLink技術屬于機器內通信的一種，通常是GPU與GPU之間的通信，也可以用于CPU與GPU之間的通信。

01 技術背景

算力的提升不僅依靠單張 GPU 卡的性能提升，往往還需要多 GPU 卡組合。在多 GPU 系統內部，GPU 間通信的帶寬通常在數百GB/s以上，PCIe總線的數據傳輸速率容易成為瓶頸，且PCIe鏈路接口的串并轉換會產生較大延時，影響GPU并行計算的效率和性能。 GPU發出的信號需要先傳遞到PCIe Switch, PCIe Switch中涉及到數據的處理，CPU會對數據進行分發調度，這些都會引入額外的網絡延遲，限制了系統性能。

image.png 為此，NVIDIA推出了能夠提升GPU通信性能的技術——GPUDirect P2P技術，使GPU可以通過 PCI Express 直接訪問目標GPU的顯存，避免了通過拷貝到CPU host memory作為中轉，大大降低了數據交換的延遲，但受限于PCI Express總線協議以及拓撲結構的一些限制，無法做到更高的帶寬。此后，NVIDIA 提出了 NVLink 總線協議。

02?NVLink簡介

NVLink 是一種高速互連技術，旨在加快 CPU 與 GPU、GPU 與 GPU 之間的數據傳輸速度，提高系統性能。 NVLink通過GPU之間的直接互聯，可擴展服務器內的多GPU I/O，相較于傳統PCIe總線可提供更高效、低延遲的互聯解決方案。 ? NVLink的首個版本于2014年發布，首次引入了高速GPU互連。2016年發布的P100搭載了第一代NVLink，提供 160GB/s 的帶寬，相當于當時 PCIe 3.0 x16 帶寬（雙向）的 5 倍。 之后陸續發布了很多新版本，V100搭載的 NVLink2 將帶寬提升到300GB/s ，A100搭載了NVLink3帶寬為600GB/s。H100中包含18條第四代NVLink鏈路，總帶寬（雙向）達到 900 GB/s，是PCIe 5.0 x16帶寬（雙向）的7倍。

image.png

image.png NVLink高速互聯主要有兩種：

第一種是以橋接器的形式實現。

另一種是在主板上集成?NVLink?接口。

03?NVSwitch芯片 為了解決GPU之間通訊不均衡問題，NVIDIA引入NVSwitch。 NVSwitch芯片是一種類似交換機的物理芯片（ASIC），通過NVLink接口可以將多個GPU高速互聯到一起，可創建無縫、高帶寬的多節點GPU集群，實現所有GPU在一個具有全帶寬連接的集群中協同工作，從而提升服務器內部多個GPU之間的通訊效率和帶寬。 NVLink和NVSwitch的結合使NVIDIA得以高效地將AI性能擴展到多個GPU。

image.png 第一代 NVSwitch于2018年發布，采用臺積電 12nm FinFET 工藝制造，共有 18 個 NVLink 2.0 接口。 目前 NVSwitch 已經迭代至第三代。第三代 NVSwitch 采用臺積電 4N 工藝（臺積電 4N 工藝專為NVIDIA定制設計，并進行了一系列優化，它與普通臺積電5nm節點相比，可實現更好的電源效率與性能，并且密度有所提升）構建，每個 NVSwitch 芯片上擁有 64 個 NVLink 4.0 端口，GPU 間通信速率可達 900GB/s。

image.png

04?GPU-SXM接口

英偉達 GPU 服務器可分為 PCIe 版 和 SXM 版，這是因為英偉達GPU卡間互連的插槽有2種類型：一種是PCIe口，一種是SXM口。

PCIe口是一個相對通用的協議，把 PCIe 版 GPU 卡插到 PCIe 插槽上，就可以和CPU、同一個服務器上其他的GPU卡進行通信，也可以通過網卡與其他的服務器節點上的設備進行通信，這種就是PCIe的通信方式，但是這種傳輸速度不快。

SXM口是專門用來做卡間互連的，是英偉達為高性能計算和數據中心設計出的更強的計算能力和傳輸速度。SXM協議是鋪在電路板上，SXM協議做卡間互連會更快，SXM接口的GPU通常是存在于DGX系統板上，對NVLink原生支持更好，DGX系統板支持4張GPU-SXM或則8張GPU-SXM，顯存帶寬比PCIe高一些。

PCIe和SXM都可以用NVLink，但是SXM是更好使用NVLink的方法。

SXM 架構是一種高帶寬插座式解決方案，用于將 GPU 連接到 NVIDIA 專有的 DGX 和 HGX 系統。SXM 版 GPU 通過主板上集成的 NVSwitch 實現 NVLink 的連接，不需要通過主板上的PCIe進行通信，它能支持8塊GPU卡的互聯互通，實現了GPU之間的高帶寬。未閹割的A100是600GB/s、H100是900GB/s，閹割過的A800、H800為400GB/s。

image.png

如果想要和SXM一樣，有很快的傳輸速度，可以使用NVlink橋接器實現GPU和CPU之間的通信，但是和SXM不一樣的地方就是它只能實現2塊GPU卡之間的通信。即 PCIe 版只有成對的 GPU 通過 NVLink Bridge 連接，通過 PCIe 通道進行數據通信。同時，最新的PCIe網絡帶寬有128GB/s的限制。

審核編輯：黃飛

?