AI SoC必須考慮的關鍵因素“內存架構”

計算的轉型在一定程度上是由于新型內存架構而成為可能的。

人工智能 (AI) 的快速發展正在影響著方方面面，從我們的駕駛方式到我們的業務決策和購物方式。在海量且不斷增長的大數據的推動下，人工智能也導致計算需求激增。事實上，與上一代相比，最新的生成式 AI 模型需要將計算能力提高 10 至 100 倍來訓練模型，即：反過來，總需求大約每六個月就會翻一番。?

正如您所期望的，這導致了計算轉型，而這種轉型在一定程度上是由于新型內存架構而成為可能的。這些先進的圖形處理單元 (GPU) 架構為設計人員開辟了全新的可能性。關鍵是為手頭的任務選擇正確的內存架構，并為該架構部署正確的內存。

可以肯定的是，有一系列更有效的新興存儲器可用于特定任務。它們包括內存計算 SRAM (CIM)、STT-MRAM、SOT-MRAM、ReRAM、CB-RAM 和 PCM。雖然每個都有不同的屬性，但作為一個集體單元，它們可以增強計算能力，同時提高能源效率并降低成本。這些是開發經濟且可持續的人工智能 SoC 必須考慮的關鍵因素。

許多考慮因素會影響設計人員根據任何給定應用程序的優先級選擇架構。其中包括吞吐量、模塊化和可擴展性、熱管理、速度、可靠性、與 CMOS 的處理兼容性、電力傳輸、成本以及模仿人類神經元的模擬行為的需求。

讓我們來看看設計師目前可以使用的各種新興存儲的特征。

SRAM 和 ReRAM：內存計算兩個極端之間的選擇

靜態隨機存取存儲器（Static Random-Access Memory，SRAM）是隨機存取存儲器的一種。所謂的“靜態”，是指這種存儲器只要保持通電，里面儲存的數據就可以恒常保持。相對之下，動態隨機存取存儲器里面所儲存的數據就需要周期性地更新。然而，當電力供應停止時，SRAM儲存的數據還是會消失（被稱為volatile memory），這與在斷電后還能儲存資料的ROM或閃存是不同的。

SRAM不需要刷新電路即能保存它內部存儲的數據。而DRAM每隔一段時間，要刷新充電一次，否則內部的數據即會消失，因此SRAM具有較高的性能，但是SRAM也有它的缺點，即它的集成度較低，功耗較DRAM大，相同容量的DRAM內存可以設計為較小的體積，但是SRAM卻需要很大的體積。同樣面積的硅片可以做出更大容量的DRAM，因此SRAM顯得更貴。

ReRAM代表電阻式RAM，將DRAM的讀寫速度與SSD的非易失性結合于一身。換句話說，關閉電源后存儲器仍能記住數據。如果ReRAM有足夠大的空間，一臺配備ReRAM的PC將不需要載入時間。

對于高效的內存計算芯片，設計人員必須選擇 SRAM 或 ReRAM，這兩者在功耗和可擴展性方面是相反的。SRAM 建議用于小存儲塊和高速要求，但它也有一些缺點，例如面積大和功耗增加。對于內存需求較高的項目，ReRAM 因其密度而具有優勢。ReRAM 還可以在需要時提供模擬行為的額外優勢。需要明確的是，大多數（如果不是全部）新興存儲器都可以部署用于內存計算，但 SRAM 是性能的最佳選擇，而 ReRAM 是密度和能源效率的最佳選擇。

MRAM：低功耗革命

MRAM是一種非易失性的磁性隨機存儲器。它擁有靜態隨機存儲器的高速讀取寫入能力，以及動態隨機存儲器的高集成度，而且基本上可以無限次地重復寫入。

MRAM（特別是 STT-MRAM 和 SOT-MRAM）是一種與 CMOS 處理完全兼容的非易失性超低功耗存儲器選項。MRAM 傳統上速度慢且難以擴展，而 STT-MRAM 通過可變電流引發“自旋軌道扭矩”改變了游戲規則。STT-MRAM 提供低至 1ns 的快速寫入時間，廣泛應用于物聯網應用。SOT-MRAM 是一種變體，可以在相同的功能下實現更快的讀寫速度（盡管這是以更大面積為代價的）。

共同的特點包括低泄漏、可擴展性、高保留時間和高耐用性，以及易于與 CMOS 集成。

PCM、ReRAM、CB-RAM：經濟高效的存儲和連接

相變存儲器（Phase-Change Memory，PCM）是一種應用相變材料作為儲存介質的存儲器技術。相變材料在一個固相和一個液相之間轉換狀態。通過控制相變材料的固相和液相之間的相變過程，可以實現數據的存儲和讀取。PCM技術相比傳統硬盤，具有更快速度、更低功耗和更小的尺寸等優勢，成為非易失性存儲技術領域的島嶼之一。

導電橋接隨機存取內存(conductive-bridging RAM， CBRAM ）是一種低耗電、與CMOS兼容的內存，可定制應用在各類嵌入式市場和獨立存儲器市場。

這些存儲器類型屬于相變存儲器的類別。它們是非易失性的，具有兩種不同的低電阻和高電阻狀態，具體取決于形成存儲器的兩個電極之間施加的電流方向。PCM、ReRAM 和 CB-RAM 等非易失性存儲器非常適合存儲視頻、音頻和圖像等模擬數據，無需昂貴的數模轉換器。另一個好處是訓練神經網絡，因為相變存儲器增強了突觸的連接性。所有這些都可以輕松地與 CMOS 和 3D 堆疊集成。ReRAM 交叉陣列最適合內存計算。CB-RAM 非常適合實現內存計算和神經網絡的實現。

雖然沒有一種內存類型是所有人工智能芯片的靈丹妙藥，但每種內存類型在占用的空間、容量、保留時間、成本、堆疊能力、耐用性等方面都有其優勢。每個內存挑戰都可以通過多種方式解決，可以考慮使用不止一種合適的替代方案來滿足相同的目標。設計人員需要權衡每種替代方案的利弊，包括對架構決策的進一步可擴展性影響。

神經形態計算與傳統 SRAM

神經形態計算是從人腦的結構和動力學中獲得靈感，從而創建了用于信息處理的節能硬件，使其能夠執行高度復雜的任務。

神經形態計算包括神經網絡的產生和使用。它從人腦中汲取靈感，旨在設計能夠合并內存和處理能力的計算機芯片。在人腦中，神經突觸提供對處理信息的神經元直接訪問記憶的能力。

幾十年來，電氣工程師一直對生物物理學，神經計算以及對人工神經網絡的實用混合信號電路的開發著迷。其中的挑戰在于跨越了從電子設備到算法的廣泛學科。神經形態系統的實際用途將會應用在我們的日常生活中，光是這一項就值得付出努力。

人工智能需要新的硬件，而不僅僅是新的算法。我們正處在一個轉折點，摩爾定律接近尾聲，導致我們的計算機性能停滯不前。與此同時，如今，我們正在生成越來越多的數據，它需要存儲和分類。

上面討論的新興非易失性存儲器代表了神經形態計算的基礎，并適用于非馮諾依曼架構。盡管經典 SRAM 存儲器具有令人興奮的潛力，但它們仍然很重要。憑借無與倫比的延遲，SRAM 仍然是神經形態計算的人工智能和機器學習 (ML) 架構的支柱。多端口內存可實現并行性以適應 CIM 和近內存計算。

神經形態計算通過依賴比當前處理架構更高效的新架構和新內存技術，正在推動人工智能的發展，并刺激對更多計算能力的需求。特別是，內存計算和近內存計算對于這個新的人工智能時代至關重要，內存產量、測試、可靠性和實施方面的專業知識也至關重要。毫不夸張地說，生態系統依賴于緊湊、非易失性、節能的存儲器。設計人員可以而且必須利用它們來解析大量數據和分布式內存，并提供為我們的“智能一切”未來提供動力所需的計算能力。

審核編輯：黃飛

?