第四代英特爾至強可擴展處理器和Habana Gaudi2在深度學習訓練中展現領先的AI性能

在MLCommons近日發布的AI性能行業基準測試結果中，代號為Sapphire Rapids的第四代英特爾至強可擴展處理器和專用于深度學習AI訓練的Habana Gaudi2加速器展現了卓越的訓練表現。

自去年6月提交了領先的MLPerf行業測試結果以來，我們團隊不斷取得新的進步，這讓我感到非常自豪。第四代英特爾至強可擴展處理器和Gaudi2 AI加速器支持廣泛的AI功能，為有深度學習訓練和大規模工作負載處理需求的客戶提供業界領先的性能。

——Sandra Rivera

英特爾執行副總裁

兼數據中心與人工智能事業部總經理

在眾多數據中心應用場景中，基于至強處理器的服務器平臺可用于運行一系列機器學習（ML）和數據分析的復雜管道，而深度學習（DL）正是其中的一部分。同時，這些服務器平臺亦可用于運行其他應用程序，并能夠適應隨時間變化的多種工作負載。在這些使用場景中，至強可擴展處理器能夠極大程度地降低總體擁有成本（TCO），提高全年利用率。

第四代英特爾至強可擴展處理器內置全新AI加速器——英特爾高級矩陣擴展（AMX），旨在幫助用戶通過擴展通用至強服務器平臺，覆蓋包括訓練和微調在內的更多深度學習使用場景。AMX是一個專用的矩陣乘法引擎，內置于第四代至強可擴展處理器的每個核心。該AI引擎已經過優化，基于行業標準框架，可提供相較于上一代深度學習訓練模型多倍的性能。

而在服務器或服務器集群主要用于深度學習訓練和推理計算的場景中，Habana Gaudi2則是理想的加速器，針對這些專用場景，它旨在提供優異的深度學習性能并降低總體擁有成本。

英特爾首先提交了涵蓋一系列不同工作負載的第四代英特爾至強可擴展處理器產品線的MLPerf v2.1行業測試結果。作為唯一提交該測試結果的處理器，Sapphire Rapids再次被證實其優異的AI性能，使客戶能夠隨時隨地使用共享基礎設施進行AI訓練。內置英特爾AMX的第四代至強可擴展處理器在多個行業標準框架中為用戶提供即時可用的性能，并集成了端到端的數據科學工具，以及來自生態伙伴廣泛的智能解決方案，開發者僅需使用TensorFlow和PyTorch框架的最新版本，即可充分釋放其性能?，F階段，英特爾至強可擴展處理器已經可以運行并處理全部AI工作負載。

測試結果顯示，第四代英特爾至強可擴展處理器正通過擴大通用CPU在AI訓練方面的覆蓋范圍，讓客戶能夠充分利用已經部署在商業應用中的至強處理器完成更多工作，尤其是用于中小型模型的訓練或微調，即遷移學習。DLRM的結果便很好地論證了Sapphire Rapids能夠在不到30分鐘（26.73）的時間內僅用四個服務器節點即可完成模型訓練。即使是面對大中型模型，第四代至強處理器亦可分別在50分鐘（47.26）和90分鐘（89.01）內成功訓練BERT和ResNet-50模型。開發者可在一杯咖啡的時間內便完成小型深度學習模型的訓練，在一頓午餐的時間內訓練中型模型，并同時利用這些連接到數據存儲系統的相同服務器，在下午進行諸如經典機器學習的其他分析。這也意味著企業能夠將諸如Gaudi2的深度學習處理器預留給更大、對性能要求更高的模型。

Habana今年五月發布了用于深度學習訓練的第二代Gaudi處理器——Gaudi2，在MLPerf v2.0訓練10天后匯總的成績中表現出了領先的測試結果。Gaudi2采用7納米制程工藝制造，擁有24個Tensor處理器核心、片內封裝容量達96GB HBM2e和24個100GB RoCE以太網端口。

Gaudi2在TensorFlow中訓練BERT和ResNet-50的時間縮短了10%。而Gaudi2的PyTorch結果則顯示，與5月的Gaudi1結果相比，其BERT和ResNet-50的訓練時間分別縮短了4%和6%。這兩組結果均在封閉和可用類別中提交。

這些優異表現突顯了Gaudi2專用深度學習架構的獨特性、Gaudi2軟件的日益成熟以及Habana SynapseAI軟件堆棧的擴展優勢。值得注意的是，該軟件堆棧針對深度學習模型開發和部署進行了優化。

未來，英特爾和Habana團隊非常期待再次提交的英特爾AI產品組合解決方案的MLPerf測試結果。

審核編輯：湯梓紅