基于CXL的直接訪問高性能內存分解框架

在上周的ATC'22會議上，韓國的科學技術高級研究所KAIST的CAME?Lab發表了一篇DirectCXL內存分解原型實現的文章，該文章提出了世界上第一個基于CXL的直接訪問，高性能內存分解框架。CAMEL為大型存儲系統提供世界上第一個CXL解決方案框架，可以在大數據應用程序（如機器學習，內存數據庫和現實圖形分析）中實現出色的性能。CAMEL的CXL解決方案為內存分解開辟了新的方向，并確保了直接訪問和高性能的功能。

超大規模和云構建者并不是唯一對 CXL 協議及其為系統創建分層、分解和可組合的主內存的能力感興趣的人。HPC中心也在采取行動，本文談論的是韓國科學技術高級研究所KAIST所做的一項有意思的工作。 KAIST的CAME Lab的研究人員已經加入了Meta平臺（Facebook）的行列，其透明頁面放置協議和變色龍內存跟蹤，微軟及其zNUMA內存項目正在創建實際的硬件和軟件，以使用PCI-Express總線上的CXL 2.0協議和PCI-Express交換復合體進行內存分解和組合，相當于它稱之為DirectCXL的內存服務器。在上周的USENIX年度技術會議上發表的一篇論文中談到了DirectCXL概念驗證，論文下載鏈接：https://www.usenix.org/system/files/atc22-gouk.pdf，還有一本宣傳冊，鏈接如下：https://camel.kaist.ac.kr/public/camel-cxl-memory-pooling.pdf。

我們期望在未來幾周和幾個月內看到更多這樣的原型和POC，看到人們正在試驗CXL內存池的可能性是令人興奮的。早在3月，The Next Platform就CXL內存的研究報道了太平洋西北國家實驗室和內存制造商Micron技術正在加速HPC和AI工作量的研究，英特爾和Marvell都熱衷于看到CXL內存中斷打開系統和集群中的內存層次結構，以提高內存利用率，從而降低系統中的總內存成本。微軟在量化我們所有人本能地知道的zNUMA研究（與卡內基梅隆大學合作完成）的工作做得很好。Facebook正在與密歇根大學合作，就像它經常在內存和存儲研究方面一樣。

鑒于KAIST的HPC根源，將DirectCXL原型放在一起的研究人員專注于使用遠程直接內存訪問（RDMA）協議將CXL內存池與跨系統直接內存訪問進行比較。他們使用了一個非常老式的Mellanox SwitchX FDR InfiniBand和ConnectX-3互連，以56 Gb / sec的速度運行，作為CXL努力的基準，InfiniBand的延遲確實降低了。但在過去的幾代人中，它們肯定已經停止了降低，并且期望PCI-Express延遲有可能降低，我們認為，從長遠來看，甚至超過InfiniBand或以太網的RDMA?？梢韵膮f議越多越好。

當然，RDMA最廣為人知的是InfiniBand網絡最初獲得其傳奇般的低延遲的手段，允許機器通過網絡直接將數據放入彼此的主內存中，而無需通過操作系統內核和驅動程序。RDMA長期以來一直是InfiniBand協議的一部分，以至于它實際上是InfiniBand的同義詞，直到該協議通過RDMA通過融合以太網（RoCE）協議移植到以太網。有趣的事實：RDMA實際上是基于康奈爾大學研究人員（包括亞馬遜網絡服務的長期首席技術官Verner Vogels）和Thorsten von Eicken（我們的讀者最熟悉的是RightScale的創始人和首席技術官）在1995年所做的工作，比InfiniBand的創建早了大約四年。

以下是 DirectCXL 內存集群的外觀：

在上圖右側（在本文文末的功能圖像中更詳細地顯示了四個內存板），它們具有FPGA創建PCI-Express鏈接并運行CXL.memory協議，用于在內存服務器和通過PCI-Express鏈接連接到它的主機之間加載/存儲內存尋址。系統中間是四臺服務器主機，最右側是一臺 PCI-Express 交換機，用于將四臺 CXL 內存服務器連接到這些主機。

為了測試DirectCXL內存，KAIST采用了Facebook的深度學習推薦模型（DLRM），僅使用InfiniBand上的RDMA在服務器節點上進行個性化設置，然后使用DirectCXL內存作為額外的容量來存儲內存并通過PCI-Express總線共享它。在此測試中，CXL 內存方法比 RDMA 快得多，如下圖所示：

在這個子集群上，DirectCXL內存上DLRM應用程序的張量初始化階段比在FDR InfiniBand互連上使用RDMA快2.71倍，在推理階段，推薦者實際上根據用戶配置文件提出建議的速度提高了2.83倍，推薦者從頭到尾的整體性能提高了3.32倍。

下圖顯示了 InfiniBand 上的本地 DRAM、DirectCXL 和 RDMA 如何堆疊，以及 CXL 與 RDMA 在各種工作負載上的性能：

以下是關于KAIST在CAMELab工作的總結部分。目前沒有操作系統支持CXL內存尋址 - 沒有操作系統，我們的意思是商業級Linux或Windows Server都沒有，因此KAIST創建了DirectCXL軟件協議棧，以允許主機使用加載/存儲操作直接訪問遠程CXL內存。無需將數據移動到主機進行處理 - 數據是從該遠程位置處理的，就像在具有 NUMA 協議的多插槽系統中發生的情況一樣。而且，與英特爾使用其 Optane 持久內存創建的相比，此 DirectCXL 驅動程序的復雜性要小得多。

“直接訪問CXL設備，這與持久內存開發工具包（PMDK）的內存映射文件管理的概念類似，”KAIST研究人員在論文中寫道?！暗?，它比PMDK更簡單，更靈活地進行命名空間管理。例如，PMDK 的命名空間與 NVMe 命名空間非常相似，由文件系統或具有固定大小的 DAX 管理。相比之下，我們的 cxl 命名空間更類似于傳統的內存段，后者直接向應用程序公開，而無需使用文件系統。

論文中有很多的實驗結果，對于普通讀者大都晦澀難懂。但是，我們放大的下圖中顯示了 DirectCXL 和 RDMA 方法之間的一些顯著差異：

就我們而言，左上角的圖表是有趣的圖表。要讀取64字節的數據，RDMA需要執行兩次直接內存操作，這意味著它具有兩倍的PCI-Express傳輸和內存延遲，然后InfiniBand協議在RDMA期間占用2129個周期，總共2705個處理器周期。DirectCXL 讀取 64 字節的數據只需要 328 個周期，它能夠做到這一點的一個原因是 DirectCXL 協議將加載/存儲請求從處理器中的最后一級緩存轉換為 CXL flits，而 RDMA 必須使用 DMA 協議來讀取和寫入內存中的數據。

附小冊子部分內容翻譯：

隨著大數據時代的到來，資源分解因其出色的擴展能力，成本效率和透明彈性而備受關注。將處理器和存儲設備分解確實打破了數據中心和高性能計算的物理邊界，成為單獨的物理實體。與其他資源相比，實現以低成本支持高性能和可伸縮性的內存分解技術并非易事。許多行業原型和基于學術模擬/仿真的研究探索了實現這種存儲分解技術的廣泛方法，并為使內存分解實用做出了重大努力。然而，由于幾個基本挑戰（高成本，有限的擴展，重數據副本和主機依賴性），內存分解的概念到目前為止還沒有成功實現。CAMEL為大型存儲系統提供世界上第一個CXL解決方案框架，可以在大數據應用程序（如機器學習，內存數據庫和現實圖形分析）中實現出色的性能。CAMEL的CXL解決方案為內存分解開辟了新的方向，并確保了直接訪問和高性能的功能。 ?

內存分解的基本思想是將主機與一個或內存節點連接，這樣由于本地內存（DRAM）空間有限，它不會限制給定的任務執行。大多數現有的內存分解技術都采用遠程直接內存訪問（RDMA）將數據從遠程內存移動到主機的本地內存。但是，所有技術僅限于擴展并顯著增加系統構建和維護成本。有兩個根本原因。首先，DRAM及其存儲器接口（例如DDR）被設計成完全無源的設備模塊，其在沒有主機側CPU和其中的存儲器控制器的幫助下不能操作。隨著更多內存節點添加到系統中，用于保存遠程內存的計算過程等其他資源的數量增加，成本呈指數增長。其次，RDMA引入了冗余內存副本和軟件結構干預，這反過來使得分解內存的延遲比本地DRAM訪問的延遲長多個數量級。 ?

CAMEL已經推出了世界上第一個CXL解決方案（POC），該解決方案通過CXL協議直接連接主機處理器復合體和遠程內存資源。CAMEL的CXL解決方案框架包括一組computingexpress link（CXL）硬件和軟件IP，包括CXL交換機，處理器復雜IP和CXL內存控制器。解決方案框架可以完全從計算資源中分離內存資源，并實現高性能，完全擴展內存分解架構。CAMEL CXL解決方案的當前原型包括：

1.CXL器件，這是一個純無源模塊，可以使用自己的硬件控制器實現許多DRAM DIMMS。 2.啟用CXL的主機處理器，包含一個或多個CXL根端口（RP）。 3.CXL網絡交換機，它允許連接超過500個內存資源以簡單地擴展（例如，放大）內存空間。

編輯：黃飛

?