AI訓練不可或缺的存儲，HBM3 DRAM再升級

電子發燒友網報道（文/黃晶晶） SK海力士近日發布全球首次實現垂直堆疊12個單品DRAM芯片，成功開發出最高容量24GB的HBM3 DRAM新產品。

圖源：SK海力士

目前已向數多全球客戶公司提供了24GB HBM3 DRAM樣品正在進行性能驗證，預計從今年下半年起將其推向市場。而現有HBM3 DRAM的最大容量是垂直堆疊8個單品DRAM芯片的16GB。無論是堆疊數量還是容量上，此次發布的新品都有顯著提升。

HBM（高帶寬存儲器）是高價值、高性能存儲器，垂直互連多個DRAM芯片。目前SK海力士在HBM市場處于領先地位，約有60%-70%的份額。

圖源：SK海力士

SK海力士于2013年首次開發HBM DRAM（第一代）產品，隨后以HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）的順序開發。早在去年6月，SK海力士宣布其HBM3將與NVIDIA H100Tensor CoreGPU結合用于加速計算，SK hynix于2022年第三季度開始發貨。今年年初隨著ChatGPT的火爆，HBM訂單激增。那么SK海力士有哪些技術來提升HBM的性能呢，以下結合SK海力士多位技術專家的分享進行一些解讀。

訓練計算需匹配高性能存儲

訓練GPT-3、Megatron-Turing NLG 530B等超大語言模型所要求的算力提升速度呈數倍到數百倍的增長。尤其是ChatGPT的訓練，ChatGPT人工智能語言模型的背后就是Transformer架構。這個架構突破了傳統的循環神經網絡（RNN）和長短時記憶網絡（LSTM）的局限性，能夠在大規模數據集上進行高效訓練。為了實現高效訓練計算，就需要有與之匹配的高性能存儲。

圖源：SK海力士

SK海力士于2021年10月推出全球首款HBM3，并在2022年6月實現量產。據介紹，該款HBM3每個引腳傳輸速率達6.4Gbps，1024位寬接口，最高帶寬可達819GB/s，較HBM2E（460GB/s）高約78%。16Gb內核密度、尖端的TSV垂直堆疊技術，滿足了系統對更高密度的要求，該技術可實現12層堆疊內存立方體，從而實現最大24GB封裝密度。HBM3配備On-die ECC（糾錯碼）可靠性功能，可自我檢測和糾正數據錯誤，從而在SoC和DRAM之間實時傳輸海量數據。

圖源：SK海力士

先進的封裝技術

此次新產品采用了先進（Advanced）MR-MUF和TSV技術。SK海力士表示，通過先進MR-MUF技術加強了工藝效率和產品性能的穩定性，又利用TSV技術將12個比現有芯片薄40%的單品DRAM芯片垂直堆疊，實現了與16GB產品相同的高度。這兩項技術也是SK海力士先進封裝技術的重要組成。

首先來看先進MR-MUF技術。根據SK海力士的官方資料，MR-MUF（Mass Reflow Molded Underfill, 批量回流模制底部填充）將半導體芯片貼附在電路上，并在堆疊芯片時使用“EMC (Epoxy Molding Compound, 液態環氧樹脂模塑料”填充芯片之間或芯片與凸塊之間間隙的工藝。這種新的工藝主要是比之前的NCF技術工藝有了很大提升。此前的NCF技術是在芯片之間使用薄膜進行堆疊。與NCF相比，MR-MUF導熱率高出兩倍左右，工藝速度和良率都有提升。

另一個是TSV（Through Silicon Via， 硅通孔技術）。TSV技術是在DRAM芯片打上數千個細微的孔，并通過垂直貫通的電極連接上下芯片的先進封裝技術。這種技術已經成為一種提升DRAM性能和密度的重要手段，可以應用于3D-TSV DRAM和HBM。

HBM主要用于彌補SoC高帶寬需求與主存儲器最大帶寬供應能力之間的帶寬缺口。SK海力士專家表示，特別是在AI應用中，每個SoC的帶寬需求可能都會超過幾TB/s，這是常規主存儲器無法滿足的。例如具有3200Mbps DDR4 DIMM的單個主存儲器通道只能提供25.6GB/s的帶寬。即使是具有8個存儲器通道的CPU平臺，其速度也只能達到204.8GB/s。而圍繞單個SoC的4個HBM2堆疊可提供大于1TB/s的帶寬。根據不同的應用程序，HBM既可以單獨用作緩存，也可以用作兩層存儲中的第一層。

實際上除了GPU搭載了HBM之外，CPU也實現了封裝HBM。去年底，英特爾就正式推出了全球首款配備 HBM 內存的 x86 CPU——Intel Xeon Max 系列。根據下圖介紹，它具有64 GB的HBM2e 內存，分為4個16 GB的集群，總內存帶寬為1 TB / s，每個內核的HBM都超過1 GB。


當前HBM的技術方向主要是在速度、密度、功耗、占板空間等方面的提升。SK海力士通過提高引腳數據速率、I/O總線位寬等方式提升速率；通過擴展Die堆疊層數和物理堆疊高度，以及增加核心Die密度以優化堆疊密度。通過評估內存結構和操作方案，最大限度地降低每帶寬擴展的絕對功耗；為了實現總內存Die尺寸最小化，則是通過在不擴大現有物理尺寸的情況下增加存儲單元數量和功能。

小結

顯然，人工智能、數據中心的應用還將拉動HBM的需求，但從成本來看，HBM的平均售價至少是DRAM的三倍，前不久受ChatGPT的拉動，HBM的價格更是水漲船高，消息人士稱，與性能最高的DRAM相比HBM3的價格上漲了五倍。不過，這一市場前景也正是DRAM存儲廠商投入技術和產品的動力。