英特爾推出AI加速器性價比產品Gaudi2

日前，英特爾面向中國市場發布了HabanaGaudi2深度學習加速卡器。

新的Gaudi2直接給到了24個Tensor處理核心（TPC），是上代產品的三倍；而在對大模型應用至關重要的顯存方面，Gaudi2也大方的配置了96GBHBM2e，顯存帶寬直接達到了2.4TB/s。而在連接方式上，Gaudi2則采用了OCPOAM接口形式，可擴展出21個100G以太網連接，并支持RoCE（RDMAover Converged Ethernet）v2。同時，Gaudi2還集成了多媒體處理器引擎和48MB片上SRAM作為高速緩存。

在系統層面，英特爾則提供能夠同時安裝8塊Gaudi2的夾層基板，同樣遵循OCP標準，可擴展出24個100GRoCE網絡接口。

性能更好的新選擇

Gaudi2搭載的96GBHBM顯存的確令人眼前一亮，但真正能夠影響用戶購買行為的仍舊似乎加速卡本身的計算性能。

在HuggingFace工程師RégisPierrard去年底進行的Gaudi2測試中，Gaudi2不僅在與前代產品的對比中表現出了近乎線性的性能提升，更大幅超越了對標的A100加速卡。

BERT預訓練，8卡

Gaudi2使用bf16/fp32混合精度，A100使用fp16精度

StableDiffusion測試，單卡

從RégisPierrard使用IntelDeveloper Cloud進行的兩輪測試中我們不難發現，無論是在BERT這樣的大模型應用中，還是在StableDiffusion這樣的“傳統”AIGC應用中，Gaudi2的性能表現均相當亮眼；相對于前代產品展現出了至少3倍的性能優勢（Gaudi2的TPC數量是前代的3倍），且比對標的A100產品更具性能優勢。

在兩項測試中，Gaudi2均使用了英特爾推出的SynapseAI1.10套件和OptimumHabana1.6；其中前者是面向Gaudi系列加速卡的SDK開發套件，能夠對TensorFlow和Pytorch等流行框架提供支持，而后者則是專門面向Transformers和Diffusers優化的運行庫。

同時，在發布會的現場演示環節，英特爾工作人員展示了StableDiffusion應用中1至64張卡的計算性能，并實現了99%的近線性性能擴展。換而言之，在更大規模的業務部署當中，Gaudi2也能通過集群橫向擴展獲得更加線性的性能增長。

目前，Gaudi系列AI加速器已經在AWS的EC2DL1主機中進行了實際的商業部署。AWS表示，相對于傳統GPU，Gaudi能夠在深度學習應用中帶來40%的性價比提升。

在走量的市場做走心的產品

誠然，Gaudi2的競品并非性能無兩的H100，更無法對即將面市的H100NVL構成性能威脅。但對于更加“走量”的A100而言，Gaudi2所展現出的性價比則對大多數用戶而言更有價值。

近兩年，“從中端入局”似乎已經成為英特爾的慣用手段，消費級的Arc770顯卡和如今的Gaudi2均如此。

走量的中端市場對英特爾有足夠的吸引力，也更容易幫助英特爾用一兩款產品就建立口碑、站穩腳跟；同時，能在中端市場為用戶提供先進技術和優勢性價比也證明英特爾對目標用戶足夠走心，愿意把真正的實惠帶給最廣闊的用戶市場。

在走量的市場做走心的產品，這樣的英特爾令人喜聞樂見。

為Ai加速器市場打開一扇窗

近兩年，以AIGC為代表的AI應用快速崛起，吸引了科技圈和投資界的廣泛關注，其中的語言類大模型更有望大幅降低企業在營銷、客服和售后方面的成本，實現生產效率的大幅提升。

在科技企業爭相進行大模型“軍備競賽”的背后，GPU的需求也水漲船高。在GPU市場格局高度固化的當下，這一現象很容易帶來終端市場的價格起伏，導致GPU價格畸高，進而推高企業投身AI業務的成本并導致基礎架構被綁定。

而英特爾Gaudi2加速卡的出現則意味著企業有了全新選擇。一方面，Gaudi2在絕對性能、顯存容量、集群性能等方面都比對標產品有優勢，能夠承接現有的市場需求；另一方面，伴隨oneAPI等算力調用工具的不斷成熟和完善，用戶也能在開發和應用層面實現基礎架構的透明化，更輕松的調用多元算力，繼而獲得算力和基礎架構層面的靈活性。

作為AI加速器市場的“追趕者”，Gaudi2證明英特爾能夠為用戶提供有競爭力的先進產品。當然，這還僅是在“獨立AI加速器”這一條賽道中。

在更廣闊的數據中心賽道中，英特爾還有并行的DataCenter Max和DataCenterFlex兩條產品線，以及更加獨立的FPGA賽道。此外，英特爾也在積極推動AI能力與傳統CPU的結合。從最初的AVX-512指令集和DLBoost到如今AMX-512指令集，英特爾正在為用戶構建一條“用CPU靈活處理AI推理業務”的全新路徑。

很顯然，在英特爾的眼中，用戶在未來應該針對不同場景和不同業務負載來規劃不同的基礎架構，用不同算力來滿足業務需求。而伴隨oneAPI的逐步成熟，底層算力的區別將被抹除，模型訓練和多端部署不再需要特別調優就能實現無縫遷移和高效調優。

在產品層面，英特爾最新推出的Gaudi2對用戶而言有足夠的吸引力；在戰略層面，Gaud2則是英特爾站穩獨立AI加速器市場并構筑多元算力體系的重要一步。而在AI研究快速推進，技術落地如火如荼的當下，Gaudi2的出現無疑為用戶帶來了全新選擇；而奮力前行的英特爾更有望為市場帶來AI與算力需求之間的全新平衡。