生成式AI火爆全球之后,英偉達的AI芯片一張難求,就在英偉達重量級選手H100 AI芯片目前依然是一貨難求的情況下,英偉達推出新款AI芯片H200。
H100目前算是算力市場硬通貨,而H200則更強大,也是H100的升級版,號稱性能飆升90%;全球最強 AI 芯片。
據英偉達的消息,H200擁有141GB的內存、4.8TB/秒的帶寬,并將與H100相互兼容,推理速度幾乎達到H100的兩倍。H200預計將于明年二季度開始交付。
H200將在深度學習和大型語言模型(LLM)方面發揮更重要的作用,比如 OpenAI 的 GPT-4的訓練。H200芯片相比上一代H100有了顯著的飛躍,將被用于數據中心和超級計算機,處理諸如天氣和氣候預測、藥物發現、量子計算等任務。
H200芯片基于英偉達的“Hopper”架構的 HGX H200 GPU,也是英偉達第一款使用 HBM3e 內存的芯片,這種內存速度更快,容量更大,因此更適合大型語言模型。英偉達稱:“借助 HBM3e,英偉達 H200 以每秒 4.8 TB 的速度提供 141GB 的內存,與 A100 相比,容量幾乎是其兩倍,帶寬增加了 2.4 倍?!?在人工智能方面,英偉達表示,HGX H200 在 Llama 2(700 億參數 LLM)上的推理速度比 H100 快了一倍。HGX H200 將以 4 路和 8 路的配置提供,與 H100 系統中的軟件和硬件兼容。
H200在大模型Llama 2、GPT-3.5的輸出速度上分別是H100的1.9倍和1.6倍。而在高性能計算HPC方面的速度更是達到了雙核x86 CPU的110倍。
H200的價格目前可能并不是最關心的,能不能拿到貨才是關鍵,當然目前英偉達也沒有公布價格。
此外還會有下一代升級版的Blackwell B100 GPU也在路上。
有數據稱英偉達的H100的嚴重缺貨問題至少會持續到2024年底?,F在推出H200可能會占用一部分的產能,當然有會有一部分客戶轉投H200。這次英偉達推出新款AI芯片H200估計又是要賣斷貨的節奏。
但是10月份美國商務部工業和安全局(BIS)發布了針對芯片的出口管制新規,對高算力的AI芯片進行了更嚴格的管控。
所以不出意外的是,估計英偉達最強AI 芯片 H200還是會被美國限制進入我國市場,或者即使進入也是閹割版,而英偉達并不想放棄中國市場 ,所以也會針對性的推出滿足法規的改良版AI芯片,不止是英偉達;英特爾也計劃推出改良版。
此前,英偉達A100及H100兩款型號被限制出口中國后,為中國專供的“閹割版”的A800和H800就是為了符合規定。
有消息報道稱英偉達的改良版AI芯片由H100改良而來,HGX H20、L20 PCle和L2 PCle這三款改良版AI芯片很快就會發布。但是預測理論上整體算力要比英偉達 H100 GPU芯片降80%左右。
-
英偉達
+關注
關注
22文章
3482瀏覽量
88864 -
AI芯片
+關注
關注
17文章
1735瀏覽量
34514 -
LLM
+關注
關注
0文章
219瀏覽量
249
發布評論請先 登錄
相關推薦
評論