英特爾面向中國市場發布Gaudi2處理器，加速大模型訓練和推理

電子發燒友網報道（文/李彎彎）日前，英特爾AI產品戰略暨Gaudi2新品發布會在京舉行。會上，英特爾正式于中國市場推出第二代Gaudi深度學習加速器——HabanaGaudi2。英特爾在中國市場推出的Gaudi2AI加速器，將通過其合作伙伴浪潮提供給中國客戶。

Gaudi2在訓練和推理上的出色表現

英特爾此次推出的Gaudi2深度學習加速器暨Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構為基礎，以多方位性能與能效比提升，加速高性能大語言模型運行。該加速器具備：

24個可編程Tensor處理器核心（TPCs）

21個100Gbps（RoCEv2）以太網接口

96GBHBM2E內存容量

2.4TB/秒的總內存帶寬

48MB片上SRAM

集成多媒體處理引擎。

相比于國際版本，面向中國市場的Gaudi2每張芯片集成的專用于內部互聯的100Gbps（RoCEv2RDMA）以太網接口，從24個減至21個。

英特爾HabanaLabs首席運營官EltanMedina對媒體表示，根據模型的不同，特供版Gaudi2性能會有輕微的影響，但在很多數據訓練擴展中，并不是用這三個端口，整體性能差別不大。

根據英特爾的展示，相比于上一代產品，在ResNet-50模型測試中，Gaudi2訓練吞吐量提高了3倍，BERT模型的訓練吞吐量提高了4.7倍。目前，單個Gaudi2在ResNet-50模型可達到非常穩定的5800個圖像/每秒的吞吐量。

與英偉達相比，Gaudi2運行ResNet-50的每瓦性能約是英偉達A100的2倍，性價比相較于AWS云中基于英偉達的解決方案高出40%。英特爾表示，接下來到9月，采用FP8軟件的Gaudi2預計能夠提供比H100更高的性價比。

根據此前的報道，在測試GPT-3方面，Gaudi2也表現出了強勁性能，384個加速器上的訓練時間為311分鐘，從256個加速器到384個加速器實現近線性95%的擴展效果。

Gaudi2在大規模的多模態和語言模型的推理方面也表現出色。HuggingFace評估中，Gaudi2在運行StableDiffusion、70億以及1760億參數BLOOMz模型時，在行業內都保持領先水平。

英特爾在AI領域的布局

AI計算包括訓練和推理，目前而言，在訓練方面，英偉達的GPU長期占據主導地位。近段時間，大模型的熱潮四起，英偉達的GPU明顯供不應求。這讓AMD、英特爾以及一些AI芯片初創企業看到了新的機會。

事實上英特爾在AI領域早有布局。2019年12月，英特爾斥資約20億美元重金收購了成立于2016年的以色列人工智能（AI）芯片初創企業HabanaLabs。在此之前，英特爾還收購了FPGA廠商Altera、AI芯片公司Nervana。

在收購HabanaLabs后的幾年中，英特爾加緊使Habana團隊與英特爾內部業務整合。在2022年IntelVision活動上，英特爾推出第二代深度學習芯片HabanaGaudi2和HabanaGreco，分別用于AI訓練和AI推理。也就是說，英特爾此次面向中國市場推出的新Gaudi2，也是在此前收購了HabanaLabs的基礎上完成的。

面向AI領域的應用，英特爾有全面的芯片組合，包括CPU、GPU、FPGA、AI專用芯片等。英特爾公司執行副總裁數據中心與人工智能事業部總經理SandraRivera表示，Gaudi2作為用于AI加速的專用處理器，是英特爾產品組合適用于大模型負載中，性能最優的產品。

除了硬件方面，英特爾也非常注重在軟件方面的優化，SandraRivera表示，英特爾致力于通過客戶提供廣泛的硬件選擇，并支持開放的軟件環境，加速人工智能技術的發展。

據英特爾介紹，為支持客戶輕松構建模型，或將當前基于GPU的模型業務和系統遷移到基于全新Gaudi2服務器，并幫助保護軟件開發投入，SynapseAI軟件套件針對Gaudi平臺深度學習業務進行了優化，旨在與廣泛的軟件生態系統一起，幫助簡化模型的開發和遷移。

SynapseAI集成了對TensorFlow和PyTorch框架的支持，并提供眾多流行的計算機視覺和自然語言參考模型，能夠滿足深度學習開發者的多樣化需求。

對于英特爾來說，中國是一個很重要的市場，根據2022年數據，英特爾在中國的營收占到總營收的27%。如今中國的大模型發展如火如荼，而英偉達的A100/H100在中國禁售，特供版的A800/H800也需要獲得許可才能出售。這對于英特爾來說，是一個很好的機會。

據悉，目前英特爾正與浪潮信息合作，打造并發售基于Gaudi2深度學習加速器的浪潮信息AI服務器NF5698G7，該服務器集成8顆Gaudi2加速卡HL-225B，還包含雙路第四代英特爾至強可擴展處理器。此外，新華三、超聚變等公司，預計也將推出搭載Gaudi2的服務器。

小結

算力是AI大模型發展的重要基礎，而AI芯片又是提供算力的重要組成部分。無論是訓練還是推理，未來隨著大模型的不斷推進及應用落地，AI芯片的市場需求都將會持續上升。在英偉達一家獨大的情況下，英特爾等廠商競爭力的不斷提升，對整個產業的發展也更為有利。