人工智能與機器學習計算中的內存挑戰

隨著 AI/ML 的性能要求持續快速增長，內存的重要性也在不斷增長。

事實上，當涉及到人工智能的內存時，會有很多對于內存的新需求，特別是：

更大的容量 – 模型尺寸巨大且增長迅速，可能達到數十個TB。這種規模的數據需要越來越多的 DDR 主存容量。

更多帶寬 – 隨著需要移動大量數據，我們目睹了所有 DRAM 類型繼續競相提高數據速率以提供更多內存帶寬。

更低的延遲 – 對速度的需求的另一個方面是更低的延遲，以使得處理器內核不會為了等待數據而閑置。

更低的功耗 – 我們正在挑戰物理學的極限，而功耗已成為人工智能系統中的一個重要限制因素。對更高數據速率的需求也正在推高功耗。為了緩解這種情況，IO電壓正在降低，但這降低了電壓裕量并增加了出錯的機會，這使我們也需要更高的可靠性。

更高的可靠性 – 為了解決在更高速度、更低電壓和更小的工藝下不斷增加的錯誤率，我們看到越來越多地使用片上 ECC 和先進的信號技術進行補償。

另一個重要話題是人工智能中新內存技術的挑戰和機遇。新技術具有許多潛在優勢，包括：

針對一組重點用例優化容量、帶寬、延遲和功耗。人工智能是一個龐大而重要的市場，背后有大量的資金，這是一個偉大的組合，可以推動新內存技術的發展。過去，GDDR（為圖形市場開發）、LPDDR（為移動市場開發）和 HBM（為 AI 等高帶寬應用開發）是為了滿足現有內存無法滿足的用例的需求而創建的。

CXL– CXL 提供了大幅擴展內存容量和提高帶寬的機會，同時還從處理器中抽象出內存類型。通過這種方式，CXL 為整合新的內存技術提供了一個很好的接口。CXL 內存控制器提供處理器和內存之間的轉換層，允許在本地連接的內存之后插入新的內存層。

雖然針對特定用例的新內存類型對許多應用程序都有好處，但它們面臨著額外的挑戰：

在可預見的未來，DRAM、片上SRAM和閃存將繼續存在，所以不要指望任何東西可以完全取代這些技術。每年對這些技術的研發和資本支出投資，加上數十年的高產制造經驗，使得在短期內基本上不可能取代任何這些技術。任何新的內存技術都必須與這些內存很好地協同工作才能被采用。

人工智能部署的規模和與開發新內存技術相關的風險使得采用全新的內存變得困難。內存開發的時間表通常為 2-3 年，但 AI 的發展速度如此之快，以至于很難預測未來可能需要的特定功能。風險很高，依賴新技術被啟用和可用的風險也很高。

任何新技術的性能優勢都必須足夠高，以抵消任何額外的成本和風險?？紤]到對基礎架構工程和部署團隊的需求，這意味著新的內存技術需要克服一個非常高的障礙。

內存將繼續成為未來人工智能系統的關鍵推動因素。我們的行業必須繼續為未來的系統進行創新，以提供更快、更有意義的人工智能，而行業正在做出回應。

審核編輯：黃飛

?