NVIDIA Spectrum-X助力IBM為AI Cloud提供高性能底座

在混合云與 AI 的時代，企業和組織需要創建、分析和保存海量的數據，在分布式的應用環境中會形成各種各樣的數據孤島，導致復雜系統難以管理，成本不斷增加。為了能夠更快速地從數據中獲得所需的洞察力，其底層的信息架構必須支持混合云、大數據和人工智能（AI）工作負載以及傳統應用，同時確保安全性、可靠性、數據效率和高性能，還需要能夠無縫擴展來應對非結構化數據的飛速增長。

IBM Storage Scale 作為一種高性能的并行數據存儲解決方案，可以幫助用戶更快速地獲得所需的計算或分析結果，管理快速擴展的數據和基礎架構，同時確保數據安全性并降低總體存儲成本。

圖1：AI 與混合云對數據存儲的需求

面對生成式 AI 的爆炸式發展，GPU 集群的運算性能至關重要，不僅需要更高的 GPU 的計算能力和更快的存儲，同時需要專用的網絡基礎設施來確保多個節點并行的最佳性能。NVIDIA 開發了業界首款面向 AI 的以太網網絡平臺 - Spectrum-X ，旨在增強 AI 云的性能和效率。Spectrum-X 平臺的核心是 NVIDIA Spectrum-4 以太網交換機、NVIDIA BlueField-3 SuperNIC/DPU、NVIDIA DOCA 軟件棧及交換機軟件棧和 NVIDIA LinkX 高品質互連設備，這種組合構成了 AI 加速計算網絡架構的基礎。NVIDIA 將 BlueField-3 SuperNIC 和 DPU 集成到其面向 AI 訓練、推薦及推理等各種系統中，不僅滿足以太網在多租戶云上的各種需求，同時保證了 AI 集群最好的運算及存儲性能。

圖2：NVIDIA Spectrum-X 平臺介紹

在 AI 云存儲平臺的選擇上，IBM Storage Scale 可提供經過驗證的企業級數據平臺。IBM Storage Scale 源自 GPFS，有超過 30 年的研發歷史，在全球有大量成功部署的經驗，廣泛應用在業界超大規模和需求嚴苛的應用環境，包括過去幾十年間全球性能最強的人工智能和高性能計算環境。

為了滿足不同類型應用的數據訪問需求，IBM Storage Scale 能夠將文件、大數據分析、對象和容器應用的接口集成到一個統一的向外擴展的存儲解決方案之中。它可為所有這些數據提供一個統一的命名空間，實現協議互通，并通過直觀的圖形用戶界面（GUI）提供單點管理。通過對最終用戶透明的存儲策略，可對數據進行分層、壓縮或遷移到磁帶或云端，以降低成本；數據還可以分層到高性能數據存儲介質，包括服務器緩存，進而降低延遲、提升性能。遠程站點的智能數據緩存可確保借助活動文件管理（AFM）功能以本地讀/寫性能在地域分散的各個站點之間提供數據，不需要復制全部數據，減少數據傳遞的網絡開銷。

圖3：IBM Storage Scale 概覽

對于 AI 集群應用來說，為了滿足不斷提高的算力和各種基礎模型對更大參數規模的需要，也需要更高速的數據訪問能力，避免因為存力不足導致的低效 I/O使得 GPU 無用武之地。由多臺服務組成的 GPU 服務器集群需要數百 GBps 到數 TBps 的高速數據存儲才能滿足其對存力的需求；此外，為了提升 GPU 的應用效率，NVIDIA 開發了 GPUDirect Storage 技術，可以通過 RDMA 高速網絡直接將數據從外部存儲傳輸至 GPU 顯存上，能有效減輕 CPU I/O 的瓶頸，提升 GPU 訪問數據的帶寬并大幅縮短通信延遲；此外，對于 AI 應用來說，從數據攝入到生產推理，每個環節都需要利用不同工具實現海量數據處理，并且這是一個不斷重復的流程。用戶需要構建的端到端的高速數據管道，簡化流程并實現數據安全、高效的流動。

經過充分優化的 IBM Storage Scale System 可以充分發揮并行架構和高速網絡的優勢，加速各種 AI 工作負載應用，具備以下優勢：

極致性能：提供業界領先的文件讀寫性能，目前單個 SSS 模塊可提供超過 310 GB/s 的文件訪問帶寬和 13M IOPS，可擴展到上千個模塊滿足更高性能和容量的需求，同時內置的 Decluster RAID 技術可以最小化各種硬件故障對性能的影響；

認證支持：IBM Storage Scale 是 NVIDIA 官方認證支持 GPUDirect Storage 的存儲技術，能夠避免 GPU 的 I/O 瓶頸，幫助用戶加速各種 AI 業務 和數據密集型應用，同時大幅度提升寶貴 GPU 資源的利用率；

全局訪問：IBM Storage Scale 提供的全局數據平臺訪問能力，支持多種應用訪問協議互通（如對象、容器、HDFS 等等）和不同存儲環境，實現數據的整合和調度，結合其它存儲設備（包括磁帶）實現分層存儲，降低數據總體擁有成本，提升端到端的數據處理效率；

安全彈性：提供端到端的全面數據安全彈性解決方案，包括完善的數據高可用和容災解決方案，以及用于實現網絡安全彈性的 Safeguarded Copy 和安全日志審計能力。

圖4：單個 IBM SSS 6000 模塊性能實測結果

為了充分發揮 IBM Storage Scale 高帶寬、低時延的優勢，通常用戶會采用支持 RDMA 的網絡來進行數據訪問，包括 InfiniBand 網絡和 RoCE（RDMA over Converged Ethernet）網絡。NVIDIA Spectrum-X 平臺具備 NVIDIA 獨有的 Adapt Routing 等專門面向 AI 的以太網網絡優化技術，可以在大規模集群中充分發揮出存儲系統的高帶寬的性能，為客戶打造高性能且穩定運行的 AI 集群提供穩定的網絡基礎。

以 AI 集群的數據業務流為例，數據從 GPU 顯存到網絡存儲服務器的網絡路徑會經過 GPU 集群上存儲平面的 Leaf 交換機到 Spine 交換機，再到 Leaf 交換機，最后連接到存儲服務器；AI 存儲業務是典型的大象流，傳統的以太網交換機是基于流為粒度的負載分擔，不難看出 GPU 集群內的 Leaf 層交換機和 Spine 交換機之間會有多條等價路徑，包括 Leaf 到不同 Spine 的等價路徑，也包括同一 Leaf 到 Spine 內多條鏈路的等價路徑，但是由于寫數據流 Hash key 值高度一致，導致，在 Leaf 層交換機不能將流充分的分配到不同的等價路徑上，這樣的技術對于目前大規模 AI 集群內的存儲業務來說會影響存儲數據流的傳輸帶寬，即便存儲系統本身性能強大，也會因為網絡成為瓶頸而不能發揮出應有的性能；而當采用 Adapt Routing 技術之后，由于是基于數據包為粒度的轉發機制，無論存儲數據流的數量大小，都可以均勻的將流量轉發到所有等價路徑上，從而消除網絡上的瓶頸，最大化的利用存儲系統的性能，提升存儲帶寬、降低存儲平面時延。這對基于以太網絡構建 AI 集群極為重要。

圖5：開啟 AR 和關閉 AR 的轉發路徑對比

為了展示 Spectrum-X 平臺在存儲領域內的實際效果，如下圖所示，搭建一個 Demo 環境用于模擬 AI 存儲應用的典型場景，采用 4 臺搭載 NVIDIA BlueField-3 的服務器，兩臺計算節點配備 BlueField-3 DPU，兩臺存儲節點配備 BlueField-3 SuperNIC，采用 6 臺搭載 Spectrum-4 交換芯片的 SN5600 交換機組成典型的兩層 Spine-Leaf 胖樹網絡；并且，BlueField DPU 和 SuperNIC 均為為雙端口卡，每個端口連接到不同的 Leaf 交換機上，保證存儲平面的高可靠，同時開啟端口 Bonding，使得可以最大化利用端口性能。測試覆蓋 2 打 1 和 2 打 2 兩種場景，構造 RDMA 流量進行測試。

圖6：Spectrum-X 存儲 AR 測試 Topo

在 2 打 1 和 2 打 2 的場景下，兩個計算節點同時發送流量給一個或 2 個存儲節點，模擬典型的存儲寫場景，對交換網絡的影響。在測試過程中，分別開啟 Adapt Routing 和關閉 Adapt Routing，收集接受端網絡帶寬，用于對比性能差異，測試如數據下圖所示，可以清楚看到，開啟 Adapt Routing 之后無論是 2 打 1，還是 2 打 2 場景，接受端網絡帶寬都已經接近物理帶寬 95% 以上。在沒有開啟 Adapt Routing 測試用例，流量在交換機之間網絡帶寬利用率大幅下降，最終測試的帶寬不足開啟 Adapt Routing 的一半。從而可以看出，采用了 Adapt Routing 技術的 Spectrum-X 平臺可以有效的解決存儲網絡內帶寬瓶頸，充分發揮存儲系統的性能，從而提升 AI 集群整體的效能。

圖7：2 打 1 和 2 打 2 場景下開啟 Adapt Routing

和 關閉 Adapt Routing 的帶寬對比

通過和 NVIDIA 網絡團隊的合作，采用 IBM Storage Scale 和 NVIDIA Spectrum-X 平臺實現軟件定義的數據基礎架構，使得搭建在 Spectrum-X 平臺上 IBM 的 Storage Scale 不僅可以面向云上應用提供基于以太網存儲生態的多種服務，同時也可以大幅提升存儲的性能，發揮出 IBM 的 Storage Scale 高吞吐大帶寬的性能優勢，滿足 AI 時代云上高性能存儲數據的要求。解決新一代以數據為中心的基礎設施所面臨的挑戰和技術瓶頸，為 AI 云應用提供高性能的底座，幫助客戶在混合云和 AI 時代實現競爭優勢。

審核編輯：劉清