采用CXL計劃應對異構計算中的內存解決方案

在計算世界中，不可思議的事情之一是在數據中心中迅速采用人工智能（AI）和云計算。這些和其他因素正在推動異構計算-使用CPU，GPU，FPGA，ASIC加速器，網絡接口控制器（NIC）和其他處理元件，所有這些元件都連接到越來越大的內存池。

但是，高性能計算（HPC）需要更新以有效連接這些處理元素并共享日益昂貴的內存的能力。參加旨在應對異構計算帶來的挑戰的Compute Express Link（CXL）計劃。它旨在提供高速緩存一致性以及在沒有不必要的成本的情況下添加新的內存層的能力。

CXL聯盟吸引了廣泛的支持，有近100個成員公司和14個公司的董事會，其中包括幾乎所有主要供應商，包括AMD，Arm，IBM，Intel和Xilinx。

就像Intel發起USB，PCI和PCI Express一樣，當Intel向最初由9家公司組成的工作組貢獻了該技術的第一個迭代時，CXL聯盟便開始起步。2019年9月，成立了董事會，擁有96家成員公司。

在致力于成為正式成員之前，任何公司都可以訪問CXL網站，免費獲得點擊許可，并下載該規范當前版本的評估版。參與人員能夠指導工作的進展，工程師現在可以在開發階段接受有關2.0規范的培訓課程。

CXL建立在PCIe互連標準的基礎上，CXL 2.0（將于2020年12月推出）將補充PCIe 5.0標準的使用，其每通道32 Gbps的信號速度，預計將在2021年發布。隨后的PCIe 6.0規格有望提高一倍。具有三個協議套件的CXL利用PCIe內具有備用協議的功能。

第一個CXL.io取代了PCIe并處理標準設置功能。將CXL卡插入PCIe插槽后，CXL.io會識別出正在使用CXL，然后關閉PCIe并啟動CXL.io協議。它允許系統使用同一組電線和標準PCIe插槽，并根據需要混合CXL和PCIe資源，這是節省資源和系統成本的重要手段。

第二個和第三個協議CXL.cache和CXL.memory支持維護緩存一致性，減少延遲以及使用新的內存類型的能力，以及其他優勢。

圖1CXL事務層在單個鏈路上包含三個動態多路復用子協議。資料來源：英特爾

從許多方面來看，CXL都是關于驅動異構計算的，異構計算正是其中的許多創新之源。在當今的異構計算世界中，內存連接到CPU，其他存儲庫連接到加速器設備：GPU，自定義邏輯，FPGA，NIC等。這些內存池位于兩個不同的域中，不同類別的設備通過不同的機制與內存通信。保持高速緩存一致性是一項挑戰。

連接CPU和連接加速器的內存池具有PCI對等訪問。借助CXL及其以內存為中心的體系結構，它可以將內存體系結構和內存語義引入到傳統上在I / O總線上的功能。

使用PCIe的替代協議

CXL利用PCIe中的替代協議選項。當我們使用CXL時，PCIe會關閉，CXL會接管工作，并為我們提供內存類的延遲，而不是I / O類的延遲。

在數據中心中，CXL主要在互連體系結構的節點級層上運行，以實現芯片到芯片的互連。對于機架和行級別，開放系統Gen-Z互連可以通過直接連接，交換或結構拓撲提供對數據和設備的存儲器語義訪問。

CXL和Gen-Z非?；パa，前者用于節點，后者用于節點之外。從CXL的角度來看，Gen-Z可以幫助我們變得更加流暢，當同時部署兩者時，我們將看到很多協同作用。實際上，我們認為互補性將隨著時間的流逝而發展。

CXL與Gen-Z有著很好的關系，包括正式協議。目的是使Gen-Z非常有效地連接到CXL。如果工程師希望結構能夠可靠地工作，則任何結構都需要與CPU保持一致的接口。因此，讓Gen-Z在CXL上方的機架級和行級進行更多操作是很有意義的。

非對稱復雜性是關鍵

CXL中的一項功能是能夠非對稱地“偏置”系統中的計算資源。為了保持高速緩存一致性，操作通常會保持“ CPU偏差”，因為這是確保高速緩存一致性最經常發生的地方，是在CPU的“本地代理”處。加速器大多數時候都使用特定類別的數據，它們將使用稍微更簡單的“設備偏差”。

通過這種非對稱方法，CXL提供了緩存一致性的好處，而不會陷入CPU上本地代理的復雜性中?？偠灾?，非對稱復雜性是CXL的關鍵功能，它減輕了緩存一致性接口設計的負擔。

圖2CXL中的非對稱復雜性減輕了緩存一致性接口設計的負擔。資料來源：英特爾

降低CXL的復雜性將使來自不同供應商的處理器能夠輕松建立一致的緩存，這在業界尚屬首次。CXL的一項關鍵價值主張是，利用CPU中的復雜性而不是在加速器中復制復雜性來分解復雜性的概念。

在CXL中，我們從CPU開始，向北和向南都有可緩存的內存，既有它自己的內存，也有加速器內存。加速器也具有完全相同的功能?？梢栽L問CPU內存的PCI設備現在可以訪問CXL下的加速器內存。我們對內存的兩個部分都具有這種對稱能力。這兩個池將成為兩臺機器均可訪問的一致性內存池的一部分。

負擔得起地增加存儲容量

數據中心系統不可避免地需要增加存儲容量和帶寬。一種解決方案是在DRAM和固態驅動器（SSD）之間添加一類持久性存儲器，在許多情況下，它們足以存儲整個數據庫。這種單獨的存儲層（比DRAM便宜）可以用于各種存儲創新中。

CXL定義了三種類型的設備：類型1包括具有自己的緩存但沒有附加內存的加速器。類型2類的設備包括已附加內存的加速器。在這兩種情況下，都可以保證高速緩存的一致性。

第三類設備包括支持內存緩沖區和內存擴展設備的控制器。系統可以添加更多的DRAM和/或持久性內存，但將其移出DDR接口。從邏輯上講，出現的內存緩沖區與其在主內存總線上的內存緩沖區沒有什么不同。

啟用分類內存

CXL是一種高速互連，并且該聯盟已致力于顯著減少等待時間，以實現分類內存。用高效，低延遲的訪問機制創建共享內存池與聯盟實現異構資源共享的總體目標是一致的。

CXL中對Type 3設備的支持為分離內存控制器提供了機會。隨著數據中心處理各種用例，第3類設備可以更輕松地提供對持久性介質或尚未投入生產的新內存類型的訪問。

事實證明，僅僅增加更多的直接連接DRAM太昂貴了。不僅DRAM成本的增長步伐很慢，而且PCB上更多路由層和控制器上更多引腳的復雜性也很昂貴。

與其增加板上的內存，不如增加CXL鏈路的數量是一種更簡單的方法，它不依賴于并行高速總線。并行DDR接口需要200個以上的引腳，而CXL可以使每個封裝的引腳數更少，并減少PCB層數。使用CXL串行接口，可以在更理想的位置存儲更長的內存，從而改變了存儲設備上的氣流。

供應商可以使用特定于媒體的控制器來構建CXL內存擴展器設備。一個系統可以支持多種不同的存儲器類型，包括DDR3，DDR4或DDR5，以及持久性存儲器，低功耗DRAM等，每種類型都具有特定于媒體的控制器，該控制器支持非對稱或不確定的定時和錯誤處理。較慢的內存層可以與主層完全隔離，而對直接連接的DRAM雙列直插式內存模塊（DIMM）的干擾最小。

圖3代表性的CXL用法簡化了編程模型并提高了性能。資料來源：英特爾

使用CXL，開發人員可以撥入最適合其應用程序的內存帶寬，使用持久性內存選項，并根據應用程序的需要進行混合匹配。該聯盟的目標是召集許多不同的行業參與者，以確保一個健壯的，不斷發展的生態系統。我們確實需要通過互操作性來進行工作，但是盡管我們在PCIe方面擁有良好的記錄，但是我們還需要通過電源，機械和管理接口來構建健壯的CXL生態系統。

Jeff Hockert是英特爾技術領導力營銷團隊的高級營銷經理。

編輯：hfy