軟件定義、硬件加速的可編程InfiniBand NDR網絡 賦能E級AI和HPC平臺

在2020年全球數字超算大會（SC20大會）上，NVIDIA宣布推出NVIDIA? Mellanox? 400G InfiniBand產品，這是全球第一代400Gb/s網速的端到端網絡解決方案，可為全球的AI和HPC用戶提供最快的網絡互連性能，同時將計算、可編程性和軟件定義三種技術成功地融于一體，成為業界領先的軟件定義、硬件加速的可編程網絡，為全球的科研人員和工程人員設計新一代計算系統和提升應用性能提供了新的思路。

NVIDIA Mellanox InfiniBand NDR產品是第7代的InfiniBand產品，利用100Gb/s的PAM4 Serdes技術， 實現了400Gb/s的單端口傳輸帶寬， 是上一代產品的兩倍， 同時通過添加更多、更強大的加速引擎，實現了更強大的計算和通信能力。

NVIDIA Mellanox NDR 400G InfiniBand產品系列

“Speed Of Light”是關于NDR InfiniBand技術的第一個特征，通過加倍的帶寬、更快的包處理能力（Message Rate），讓基于RDMA、GPU Direct RDMA和GPU Direct Storage等先進通信技術的應用性能得到了進一步提升。InfiniBand網絡是天然的SDN網絡，可以讓用戶根據應用的屬性來選擇各種不同的網絡拓撲，以達到最優的性能，如Fat-Tree、DragonFly+、各種Torus等。如通過DragonFly+網絡拓撲可以在4個交換機Hop內達到一百萬個節點的同時通信，這個規模遠遠超出了E級機、甚至10E級機或百E級機需要的規模；同時其天然的SDN屬性也讓動態路由和網絡擁塞控制變得更容易實現。InfiniBand動態路由已經被廣泛地應用到各種網絡拓撲當中，成為優化通信性能的關鍵手段，如美國橡樹林國家實驗室的Summit超級計算機就通過動態路由將超算中心全網的通信效率從60%提升到了96%。NDR InfiniBand交換機在1U空間內可以支持64個400Gb/s的端口或128個200Gb/s的端口，是上一代交換機端口密度的3倍；它還將框式交換機系統的聚合雙向吞吐量提高了5倍，達到1.64 petabits/s，是全球端口數最多、交換容量最大的交換機。

硬件加速是InfiniBand網絡的最大特色，隨著越來越多的加速引擎被添加到InfiniBand硬件中來，進一步加大了其相對于其它網絡技術的領先性。如NDR InfiniBand實現了對于業界最頭疼的All2All和Allreduce通信的硬件卸載，能讓MPI通信的性能提升四倍。NDR InfiniBand對于MPI Tag Matching的硬件卸載，實現了1. 8倍的MPI通信性能提升。NDR InfiniBand可以實現對于NVMeoF的全面卸載， NVMeoF的Target卸載可以讓存儲系統在幾乎不消耗Target端CPU的前提下達到數以百萬級的IOPS，NVME SNAP可以實現對于NVMeoF的Initiator端的卸載，同時可以將InfiniBand網絡模擬成NVMe磁盤提供給主機CPU，可以解決目前很多OS還沒有NVMeoF的Initiator支持的問題，實現了對任何OS，無論是虛擬化還是物理機的全面NVMeoF的支持；InfiniBand FIO SNAP可以實現對于文件存儲的本地模擬，讓任何OS都可以享受最先進的分布式文件存儲系統的性能優勢。

InfiniBand SHARP （Scalable Hierarchical Aggregation and Reduction Protocol） 技術徹底消除了MPI或者NCCL的Allreduce操作中的多打一通信帶來的Incast Burst問題，在保證所有端口全線速、共計12.8Tb/s或25.6Tb/s的數據輸入的前提下，實現在交換機上的Allreduce、Barrier、Reduce和Broadcast計算，在NDR交換機上更是實現了相比上一代交換機32倍的計算性能提升。InfiniBand SHIELD （Self-Healing） 技術實現了網絡中鏈路故障的自修復，讓網絡無需等待管理軟件的參與來恢復鏈路故障，實現了比傳統的軟件故障恢復快千倍以上的性能，讓應用不再受困鏈路故障的干擾，提升應用的性能。

InfiniBand安全卸載是面向Cloud Native的應用場景，InfiniBand已經得到了Open Stack的官方軟件支持，通過自帶的硬件IPSec、TLS、AES、Root of Trust等功能，可以讓數據不論是在網絡中流動時，還是在向存儲中落盤時都能以線速性能得到加解密，實現了在虛擬化環境或者在容器化環境中的安全保障。

軟件可編程讓InfiniBand的應用場景得到了進一步的延伸，可編程的NDR InfiniBand不僅可以讓用戶處理數據的header，還可以對于數據的數據路徑進行操作，如用戶可以自定義規則對于數據路徑進行操作；或是對于數據直接在網絡中進行預處理而無需送到CPU做預處理。用戶還可以對于數據的通信特征進行提取、然后利用AI技術對其進行訓練，得到不同應用數據的通用通信特征，如果發現有異常通信信息，可以向管理員主動發出預警。

NVIDIA Mellanox NDR 400G InfiniBand亮點

NDR InfiniBand以其優異的性能和靈活廣泛的使用場景吸引了眾多的合作伙伴一起共建生態系統，包括Atos、戴爾科技、富士通、浪潮、聯想和SuperMicro等服務器廠商，以及DDN、IBM Storage等存儲廠商。各家公司都已開始研發其新一代產品，實現對于NDR InfiniBand的支持。而包括微軟Azure公有云、美國Los Alamos國家實驗室、歐洲Jülich超算中心等全球各頂級用戶都紛紛表示，期待能盡快應用NDR InfiniBand到他們的業務中去，享受NDR的技術優勢。

NVIDIA網絡高級副總裁Gilad Shainer表示： “我們AI客戶最重要的工作就是處理日益復雜的應用程序，這需要更快速、更智能、更具擴展性的網絡。NVIDIA Mellanox 400G InfiniBand的海量吞吐量和智能加速引擎，幫助HPC、AI和超大規模云基礎設施以更低的成本和復雜性，實現無與倫比的性能?！?/p>

E級AI和HPC時代已經來臨，同時帶來新的挑戰，軟件定義、硬件加速、面向網絡計算的可編程NDR InfiniBand產品將于2021年第二季度提供樣品。NDR產品的出現，將會大幅提升E級AI和HPC系統的性能和效率，簡化系統的管理和操作，降低系統的TCO，進而保護數據中心的投資。