英特爾發布中國定制版大模型專用芯片Gaudi2，用性價比挑戰英偉達

訓練大模型，英偉達GPU不再是唯一選項。

7月11日，英特爾在北京舉辦AI產品戰略暨Gaudi2新品發布會，正式于中國市場推出第二代深度學習加速器——Habana Gaudi2。

Habana是成立于2016年的AI芯片廠商，總部位于以色列，為數據中心提供可編程深度學習加速器。Habana在2019年推出了第一代Gaudi芯片，并在這一年12月被其早期投資人英特爾收購。

其實在2022年5月，英特爾已經發布過Gaudi2。而這一次在北京的產品發布，是面向中國市場的“定制版”，類似英偉達推出A100與H100的定制版A800與H800。

英特爾執行副總裁兼數據中心與人工智能事業部總經理Sandra Rivera強調，Gaudi2是完全合法合規的。

在性能方面，這款中國定制版訓練最主要的性能裁剪在于網絡端口。Gaudi2有21個百兆端口，而國際版有24個。不過，英特爾Habana Labs首席運營官Eitan Medina表示，“從客戶使用情況來看，預計影響會非常小”。

Gaudi2的推出，為訓練大模型提供了英偉達之外的替代方案。在此之前，英偉達的GPU芯片——A100與H100，幾乎壟斷了訓練大模型的市場。供需的極度不平衡也讓GPU一芯難求。

相比英偉達GPU，Gaudi2最顯著的優勢在于“更高的性價比”。英特爾表示，將致力于為中國用戶提供更高的深度學習性能和效率，從而成為大規模部署AI的更優解。

目前，英特爾正與浪潮信息合作，打造并發售基于Gaudi2深度學習加速器的浪潮信息AI服務器。此外，新華三與超聚變也是英特爾的合作伙伴。

1.用性價比挑戰英偉達

目前，業內普遍認為生成式AI和大語言模型僅適宜在GPU上運行。但英特爾Gaudi2正在向英偉達發起挑戰。

Gaudi2深度學習加速器暨Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構為基礎，采用了臺積電7nm工藝，專為訓練大語言模型而構建。該加速器具備：

24個可編程Tensor處理器核心（TPCs）

21個100 Gbps（RoCEv2）以太網接口

96GB HBM2E內存容量

2.4TB/秒的總內存帶寬

48MB片上SRAM

集成多媒體處理引擎

Gaudi2真實性能表現如何？在發布會現場，英特爾多次與英偉達進行參數對比。

在6月公布的MLCommons MLPerf基準測試（被普遍認為是最具信服力的AI性能測試基準）結果中，Gaudi2在GPT-3模型、計算機視覺模型ResNet-50（使用8個加速器）、Unet3D（使用8個加速器），以及自然語言處理模型BERT（使用8個和64個加速器）上均取得了比A100更優異的結果，但還弱于H100。

不僅如此，Gaudi2在性價比上更具優勢。

在MLCommons剛剛公布的MLPerf訓練3.0結果中，Gaudi2在1750億參數的GPT-3模型上，從256個加速器到384個加速器可實現接近線性的95%擴展效果。

英特爾表示，Gaudi2的每瓦性能大約是A100的兩倍。而隨著性能的進一步優化，英特爾預計在今年9月，Gaudi2的性價比將會超過H100。

值得一提的是，Gaudi2是僅有的兩個向GPT-3大模型訓練基準提交性能結果的解決方案之一。

英特爾Habana Labs首席運營官Eitan Medina強調：“這說明了其他半導體廠商還無法構建針對GPT-3的解決方案”。

除了模型的訓練，還需要模型的推理。Gaudi2可為大規模的多模態和語言模型提供出色的推理性能。

在最近的Hugging Face評估中，Gaudi2在大規模推理方面的表現，包括在運行Stable Diffusion、70億以及1760億參數BLOOMz模型時，都在行業內保持領先。

其中，與英偉達A100相比，Stable Diffusion推理時延降低2.21倍。

值得一提的是，下一代Gaudi3預計在明年推出，采用臺積電5nm工藝。

2.英特爾的AI戰略

英特爾擁有龐大豐富的產品線，Gaudi2并非唯一的AI產品。

針對AI在不同場景、不同環節的異構計算需求，英特爾將其產品線分為通用計算與加速計算。

其中，英特爾的CPU產品，第四代至強處理器解決通用計算，滿足客戶在大部分模型較小場景的AI推理需求；Gaudi2解決加速計算，解決大模型的訓練及推理需求。

在通用計算層面，第四代英特爾至強可擴展處理器（英特爾AMX）為廣泛的AI負載和用例提供10倍的推理和訓練性能以及代際性能提升，同時每瓦性能比也比前代提高7.7倍。

在6月底公布的MLPerf訓練3.0結果表明，第四代至強可擴展處理器為企業提供了“開箱即用”的功能，可以在通用系統上部署AI，避免了引入專用AI系統的高昂成本和復雜性。

第四代至強可擴展處理器也能夠支持Stable Diffusion。英偉達DGX H100系統也會選擇搭配英特爾CPU，從而為企業級AI提供高速、高能效并節省成本。

百度、美團是英特爾AMX的客戶。英特爾AMX助力百度文心一言輕量版ERNIE-Tiny性能提升2.66倍，助力美團加速視覺AI推理服務，成本降低80%。

值得一提的是，在加速計算層面，英特爾除了推出人工智能專用芯片Gaudi2之外，也在2022年推出了面向數據中心的的GPU Max系列（代號為Ponte Vecchio）。兩款產品在AI計算層面存在一定的重合度。

對此，英特爾透露會在2025年把Gaudi產品線與GPU產品線整合為統一架構的新產品，并帶來更好的軟件適配能力與AI處理能力。

此外，正如英偉達依靠CUDA構建護城河，英特爾也在加強軟件開發生態的支持。

英特爾推出的軟件套件針對Gaudi平臺深度學習業務進行了優化，集成了對TensorFlow和PyTorch框架的支持，并面向400多個機器學習和深度學習AI模型進行驗證，涵蓋每個業務領域使用的最常見AI用例。

總結來看，英特爾正在通過異構產品組合、開放式的軟件棧以及用于大模型訓練的Gaudi2集群，來降低人工智能的準入門檻，來滿足龐大的市場需求。

芯片是大模型訓練及推理的基礎設施，也是這場大模型淘金熱必不可少的“鏟子”。如今，隨著主流半導體巨頭紛紛布局，這場大模型的芯片戰已經徹底打響了。