先進工藝下的SRAM功耗和性能挑戰

雖然SRAM目前仍將是主力存儲器，但在先進工藝下使用SRAM有了新的挑戰。

盡管SRAM的設計年代久遠，但它已成為AI的主力存儲器。但SRAM無法進一步縮放對功耗和性能目標提出了挑戰，迫使系統從硬件創新到重新思考系統整體的布局。?

SRAM及其稍年輕的表親DRAM之間需要權衡取舍。SRAM通常配置為六個晶體管，這使得其訪問時間比DRAM更快，但代價是讀取和寫入會消耗更多的功耗。相比之下，DRAM采用單晶體管/單電容設計，成本更低。但DRAM會影響性能，因為電容器由于電荷泄漏而需要刷新，有時在內存升溫時會自刷新。因此，自推出以來的60多年里，SRAM一直是優先考慮低延遲和可靠性應用的首選存儲器。

SRAM對于人工智能至關重要，尤其是嵌入式SRAM。它是性能最高的存儲器，你可以將其直接與高密度邏輯集成。

功耗和性能挑戰

但是，在跟上CMOS工藝縮放的步伐方面，SRAM卻表現平平，這對功耗和性能產生了影響。在傳統的工藝縮放中，柵極長度和柵極氧化物厚度一起縮小，以提高性能和對短溝道效應的控制。更稀的氧化物可以在較低的VDD水平下實現性能提升，這對SRAM在減少泄漏和動態功耗方面都是有利的。然而，在最近的工藝節點遷移中，我們幾乎沒有看到氧化物或VDD水平的進一步縮放。此外，晶體管的幾何收縮導致金屬互連更薄，導致寄生電阻增加，從而增加功率損耗和 RC 延遲。

隨著AI設計對內部存儲器訪問的要求越來越高，SRAM在工藝節點遷移中進一步增加功耗已成為一個的問題。

這些問題，加上SRAM的高成本，不可避免地導致性能下降。

如果你無法獲得足夠的SRAM來滿足處理器內核的數據存儲需求，那么內核最終將不得不從更遠的地方移動數據。在SRAM和DRAM之間移動數據需要額外的功耗，而且從DRAM訪問這些數據需要更長的時間，因此性能會下降。

在繼續更新的工藝節點上，情況可能不會改善，甚至可能變得更糟。

SRAM工藝縮放慢于邏輯是一個問題，因為cache比整個處理器大是不正常的。但如果你把cache放在芯片外，處理器的表現又會明顯下降。

臺積電正在招聘更多的內存設計人員來提高SRAM密度，但他們是否能解決問題還有待觀察。有時可以通過雇用更多的人來推進事務的進一步發展，但大多數時候作用都很有限。關鍵的一步是靠極少數人走出去的。

隨著時間的推移，客戶將會考慮那些不像現在這樣密集使用SRAM的架構。

事實上，早在20nm時代，SRAM就無法與邏輯一起縮放，這預示著當片上存儲器可能變得比邏輯本身更大時，將面臨功耗和性能挑戰。為了應對這些問題，系統設計人員和硬件開發人員都在應用新的解決方案和開發新技術。

按照這些思路，AMD采取了不同的方法。他們引入了一種稱為3D V-Cache的技術，該技術將單獨芯片上的額外SRAM緩存堆疊在處理器頂部，從而增加處理器內核可用的緩存量。額外的芯片增加了成本，但允許訪問額外的SRAM。另一種策略是具有多個級別的緩存。處理器內核可以具有只有它們才能訪問的專用（非共享）level 1 和level 2 cache，以及在處理器內核之間共享的更大的last-level cache（LLC）。由于處理器具有如此多的內核，共享 LLC 允許某些內核有時使用更多容量，而某些內核使用更少的容量，從而在所有處理器內核中更有效地使用總容量。

糾錯
SRAM縮放也增加了可靠性問題。因此，糾錯可能會成為一種普遍的要求，特別是對于汽車設備而言。

其他存儲器，其他結構

這在設計方面引起了很多變化。每個人都在嘗試在芯片上使用更少的SRAM。如果你能承受延遲，大型存儲要么被轉移到DRAM，要么被轉移到HBM（成本會更大）。

新的嵌入式存儲器類型通常作為SRAM的替代品出現，但每種類型都有自己的一系列問題。領先的競爭者MRAM和ReRAM只占用一個晶體管面積，雖然它比SRAM中的晶體管大，但它們的整體單元尺寸仍然約為SRAM的三分之一，包括外圍電路在內的尺寸約為SRAM的一半。有明顯的尺寸優勢，但寫入速度的性能仍然遠慢于SRAM。

如果物理學不允許更小的SRAM，那么替代方案將需要重新思考架構并采用chiplet，可以將更先進工藝的邏輯芯片與采用舊工藝制造的SRAM芯片相結合。這種方法將受益于改進的邏輯PPA，同時為SRAM使用具有成本效益（較舊，可能更高產量和更便宜）的工藝節點。

chiplet解決方案正好適合正在進行的集成革命。模擬電路很久以前就停止了縮放，除了少數例外，它們并沒有從縮放中受益匪淺。從DRAM到SRAM再到NVM，所有類型的存儲器都傾向于在不同的節點上制造，因為功耗、性能和成本原因。

邏輯更傾向于在仍滿足成本和泄漏要求的最小工藝節點上制造。通過多芯片集成，我們在“理想”工藝節點中制造每個電路，然后將芯片組合成一個封裝。

許多人在移動和數據中心領域都聽說過這一點，但在終端人工智能和物聯網領域也正在迅速發生。

在有限的情況下，系統技術協同優化 （STCO） 也可以提供幫助。對于某些應用，原則上不需要片上緩存。例如，在人工智能訓練中，訓練數據只使用一次，而模型參數應該在芯片上隨時訪問。軟件和芯片架構可以利用這種一次性數據移動，繞過緩存層次結構，具有很大的潛力。

所有這些都激發了人們對新布局和互連協議的興趣，例如 UCIe 和 CXL。當你擁有更大的 AI 工作負載時，內存會隨著計算而擴展，但如果其中一個組件的擴展速度比另一個組件快一點，那么根據系統的設計方式，你會遇到不同的瓶頸。人工智能工作負載大大增加了所需的處理器數量。他們甚至突破了芯片光罩尺寸的極限，所以現在你需要像UCIe這樣的高速互連器件來處理芯片到芯片系統，這意味著多芯片系統是不可避免的，以處理人工智能工作負載。

解決問題

Winbond通過其 CUBE 堆棧（定制的超帶寬元素）重新思考了內存架構。

CUBE 堆棧使用DRAM作為存儲單元，但也通過通孔進行3D堆疊?；旧?，你可以提供從底部基板一直到SoC芯片的連接。它更具成本效益，因為DRAM不使用SRAM的六個晶體管。

CUBE可以提供足夠的高密度，以取代SRAM到3級緩存。為了達到某些帶寬要求，只有兩種選擇——提高時鐘速度或增加 I/O 數量。有了CUBE，你可以隨心所欲地增加它們，這在系統層面帶來了很多好處，包括減少對電源的需求。CUBE目前處于原型階段，但預計將于2024年第四季度或2025年初投入生產。

結論
改變是漸進式的。當設計師談論他們應該擁有多大的緩存時，他們將一如既往地在性能和價格之間取得平衡。如果SRAM的價格上漲，他們會在其他地方付出一些性能損失或者通過擁有更多的DRAM帶寬來彌補這一點。

就目前而言，將是這種漸進式的權衡。但如果這種趨勢繼續下去，這將導致人們思考完全不同的方法，你就會看到完全不同的架構。

至于SRAM被完全取代，這似乎不太可能，至少在短期內是這樣。當它真的發生時，預計也會導致架構和操作系統軟件的變化。

審核編輯：黃飛