電子發燒友網報道(文/李彎彎)據報道,繼英偉達之后,全球多個科技巨頭都在競購SK海力士的第五代高帶寬內存HBM3E。半導體行業知情人士稱,各大科技巨頭都已經在向SK海力士請求獲取HBM3E樣本,包括AMD、微軟和亞馬遜等。
HBM(高帶寬存儲器),是由AMD和SK海力士發起的基于3D堆棧工藝的高性能DRAM,適用于高存儲器帶寬需求的應用場合。如今HBM已經發展出HBM2、HBM2e以及HBM3。HBM3E是HBM3的下一代產品,SK海力士目前是唯一能量產HBM3的廠商。
HBM成為AI芯片中存儲主流方案
HBM是一種高帶寬內存技術,它采用了3D堆疊技術,將多個DRAM芯片堆疊在一起,形成一個高密度、高帶寬的內存模塊。
隨著時間發展,存儲器與處理器性能差異逐漸擴大,當存儲器訪問速度跟不上處理器數據處理速度時,存儲與運算之間便筑起了一道“內存墻”。而隨著人工智能、高性能計算等應用市場興起,數據量指數級增長,“內存墻”問題也愈發突出。
存儲器帶寬是指單位時間內可以傳輸的數據量,要想增加帶寬,最簡單的方法是增加數據傳輸線路的數量。HBM能夠通過系統級封裝(SIP)和硅通孔(TSV)技術實現垂直堆疊,擁有多達1024個數據引腳,可顯著提升數據傳輸速度,因此成為AI芯片中存儲的主流技術方案。
英偉達、AMD等企業高端AI芯片大多搭載HBM。據了解,英偉達歷代主流訓練芯片基本都配置HBM,其2016年發布的首個采用帕斯卡架構的顯卡TeslaP100已搭載了HBM2,隨后TeslaV100也采用了HBM2;2017年初,英偉達發布的Quadro系列專業卡中的旗艦GP100也采用了HBM2;2021年推出的TeslaA100計算卡也搭載了HBM2E,2022年推出了面向大陸地區的A800,同樣也配置HBM2E;2022年推出了市面上最強的面向AI服務器的GPU卡H100,采用的HBM3。
AMD今年6月推出的號稱是最強的AI芯片MI300X,就是搭載由SK海力士及三星電子供應的HBM。AMD稱,MI300X提供的HBM密度最高是英偉達AI芯片H100的2.4倍,其HBM帶寬最高是H100的1.6倍。這意味著,AMD的芯片可以運行比英偉達芯片更大的模型。
蘇姿豐介紹,MI300X可以支持400億個參數的Hugging Face AI模型運行,并演示了讓這個LLM寫一首關于舊金山的詩。這是全球首次在單個GPU上運行這么大的模型。單個MI300X可以運行一個參數多達800億的模型。
另外,谷歌也將于2023年下半年擴大與Broadcom合作開發AISC,其AI加速芯片TPU亦采搭載HBM存儲器,以擴建AI基礎設施。
目前,英偉達、AMD、微軟和亞馬遜等科技巨頭都在向SK海力士申請下一代HBM3E樣本,SK海力士正忙于應對客戶對HBM3E樣品的大量請求。報道稱,英偉達是第一家申請HBM3E送樣的客戶;申請的客戶或許年底前即可收到樣品。
由于HBM3E需求暴增,SK海力士已決定明年大擴產、采用最先進的10nm等級第五代(1b)技術,多數新增產能將用來生產HBM3E。
大模型帶動HBM市場需求高增長
大模型的發展正在帶動HBM的市場需求。近大半年時間,國內外科技互聯網龍頭企業都在參與大模型的研發,國外的包括谷歌、微軟、Meta、Open AI,英偉達等,國內的包括百度、華為、阿里、騰訊、商湯、可達訊飛、昆侖萬維、云知聲等。
服務器是算力的核心基礎設施,大模型數據量的指數級增長拉升AI服務器需求大幅提升。根據機構調研,目前高端AI服務器GPU搭載HBM芯片已成主流,預計2023年全球HBM需求量將增近六成,達到2.9億GB,2024年將再增長30%。
這對于HBM企業及上游產業鏈來說無疑都是好消息。目前市場上的HBM主要由SK海力士、三星、美光三家廠商供應,根據2022年數據,三家公司的市場占有率分別為50%、40%、10%。其中,預計2023年SK海力士將受益HBM3產品的量產,市占率有望提升至53%。
在HBM領域,SK海力士走在業界前列,2014年SK海力士與AMD聯合開發了全球首款硅穿孔HBM產品,其帶寬高于GDDR5產品。2022年6月實現HBM3的量產,并向英偉達大量供貨,配置在英偉達高性能GPUH100之中。
三星緊隨其后,在HBM領域的發展也較為順利,于2016年首次量產HBM2產品,同時發布了4GB和8GB的HBM2 DRAM。2024年預計實現接口速度高達7.2Gbps的HBM3P,2025年在新一代面向AI的GPU中見到HBM3P的應用。
在三家公司中,美光稍有落后,其于2020年7月宣布大規模量產HBM2E,HBM3在研發中。
除了這幾家公司之外,上游相關半導體設備、材料等企業預計也將會在這波AI大模型浪潮中受益。比如,硅通孔技術(TSV)是HBM的核心技術之一,中微公司是TSV設備的主要供應商,TSV為連接硅晶圓兩面并與硅襯底和其他通孔絕緣的電互連結構,可以穿過硅基板實現硅片內部垂直電互聯,是實現2.5D、3D先進封裝的關鍵技術之一,主要用于硅轉接板、芯片三維堆疊等方面。
中微公司在2010年就推出了首臺TSV深孔硅刻蝕設備Primo TSV?,提供的8英寸和12英寸硅通孔刻蝕設備,均可刻蝕孔徑從低至1微米以下到幾百微米的孔洞,并具有工藝協調性。
再比如,ALD沉積(單原子層沉積)在HBM工藝中不可或缺,雅克科技是ALD前驅體核心供應商,拓荊科技是ALD設備核心供應商。由于ALD設備可以實現高深寬比、極窄溝槽開口的優異臺階覆蓋率及精確薄膜厚度控制,在HBM中先進DRAM加工工藝和TSV加工工藝中是必不可少的工藝環節。
雅克科技是國內ALD沉積主要材料前驅體供應商,公司前驅體產品供應HBM核心廠商SK海力士,High-K、硅金屬前驅體產品覆蓋先進1bDRAM、200層以上3DNAND以及3nm先進邏輯電路等。
拓荊科技是國內ALD設備的主要供應商之一,公司PEALD產品用于沉積SiO2、SiN等介質薄膜,在客戶端驗證順利;Thermal-ALD產品已完成研發,主要用于沉積Al2O3等金屬化合物薄膜。
此外,還有華海誠科、聯瑞新材、國芯科技、長電科技等企業,也表示相關技術和產品可以用于HBM中。比如,華海誠科的顆粒狀環氧塑封料用于HBM的封裝,已通過部分客戶認證;國芯科技表示,目前正在研究規劃合封多HBM內存的2.5D的芯片封裝技術。
小結
如今國內外互聯網、科技企業都已經紛紛參與大模型的研發,而且從目前的情況來看,不少企業已經在推進大模型在各行業中的落地應用。無論是研究過程中的訓練,還是落地部署中的推理,大模型由于數據量龐大,都離不開HBM的支持。
可以看到,在大模型發展的帶動下,HBM的市場需求正在快速增長。而除了SK海力士、三星、美光等供應HBM的企業之外,上游相關的半導體設備、材料等企業也能從中獲益。
-
英偉達
+關注
關注
22文章
3375瀏覽量
87943 -
HBM
+關注
關注
0文章
250瀏覽量
14437
發布評論請先 登錄
相關推薦
評論