RDMA和TCP/IP有什么區別

在分布式存儲網絡中，我們使用的協議有RoCE、Infiniband（IB）和TCP/IP。其中RoCE和IB屬于RDMA (RemoteDirect Memory Access)技術，他和傳統的TCP/IP有什么區別呢，接下來我們將做詳細對比。

RDMA和TCP/IP

面對高性能計算、大數據分析等IO高并發、低時延應用，現有TCP/IP軟硬件架構不能滿足應用的需求，這主要體現在傳統的TCP/IP網絡通信是通過內核發送消息，這種通信方式存在很高的數據移動和數據復制的開銷。RDMA(RemoteDirect Memory Access)技術全稱遠程直接內存訪問，就是為了解決網絡傳輸中服務器端數據處理的延遲而產生的。RDMA技術能直接通過網絡接口訪問內存數據，無需操作系統內核的介入。這允許高吞吐、低延遲的網絡通信，尤其適合在大規模并行計算機集群中使用。

圖1-1RDMA和傳統TCP/IP比較

RDMA的種類

目前有三種RDMA網絡，分別是Infiniband、RoCE(RDMA over Converged Ethernet)、iWARP。

其中，Infiniband是一種專為RDMA設計的網絡，從硬件級別保證可靠傳輸 ，技術先進，但是成本高昂。而RoCE 和 iWARP都是基于以太網的RDMA技術，這使高速、超低延時、極低CPU使用率的RDMA技術得以部署在目前使用最廣泛的以太網上。

如所示，RoCE協議有RoCEv1和RoCEv2兩個版本，RoCEv1是基于以太網鏈路層實現的RDMA協議(交換機需要支持PFC等流控技術，在物理層保證可靠傳輸)，而RoCEv2是以太網TCP/IP協議中UDP層實現，引入IP解決了擴展性問題。

圖1-2RDMA網絡種類

表1-1RoCE和InfiniBand比較

三種RDMA網絡的特點總結如下：

InfiniBand：設計之初就考慮了 RDMA，從硬件級別保證可靠傳輸，提供更高的帶寬和更低的時延。但是成本高，需要支持IB網卡和交換機。

RoCE：基于 Ethernet 做 RDMA，消耗的資源比 iWARP 少，支持的特性比 iWARP 多?？梢允褂闷胀ǖ囊蕴W交換機，但是需要支持RoCE的網卡。

iWARP：基于TCP的RDMA網絡，利用TCP達到可靠傳輸。相比RoCE，在大型組網的情況下，iWARP的大量TCP連接會占用大量的內存資源，對系統規格要求更高?？梢允褂闷胀ǖ囊蕴W交換機，但是需要支持iWARP的網卡。

分布式存儲中常用的網絡協議

IB：常用于DPC場景中的存儲前端網絡。

RoCE：常用于存儲后端網絡。

TCP/IP：常用于業務網絡。

關于RoCE網絡技術，請參考“關于RoCE技術3種實現及應用”，“高性能計算：RoCE技術分析及應用”，“高性能計算：RoCE v2 vs. InfiniBand網絡該怎么選？”，“面向數據中心無損網絡技術（IP、RDMA、IB、RoCE、AI Fabric）”，“NVMe over RoCEv2網絡技術要求和測試規范”。

審核編輯：湯梓紅