大模型算力新選擇——寶德AI服務器采用8顆英特爾Gaudi?2加速器

近日，英特爾專門針對中國市場推出深度學習加速器Habana?Gaudi?2.以領先的性價比優勢，加速AI訓練及推理，提高深度學習性能和效率，從而成為大規模部署AI的更優解。作為英特爾在中國最重要的戰略合作伙伴和中國AI服務器市場的TOP3.寶德計算積極攜手英特爾，推出了支持8顆Gaudi?2加速器的AI加速計算服務器——PR8908WG，具有高性能、可擴展性強、高能效和開箱即用等優勢，能夠為AI客戶尤其是大模型訓練和推理提供超高性價比的算力支撐。

全新Gaudi?2訓練加速器，專為深度學習而生

Gaudi?2采用7nm制程工藝，擁有高性能架構，具備24個可編程Tensor處理器核心(TPCs)，21個100Gbps(RoCEv2)以太網接口，96GB HBM2E內存容量，2.4TB/秒的總內存帶寬，48MB片上SRAM，并且集成多媒體處理引擎，為訓練大語言模型提供高性能、高可擴展性和高能效的AI算力，在MLCommons?MLPerf@基準測試之GPT-3模型、計算機視覺模型ResNet-50、Unet3D、以及自然語言處理模型BERT等方面均取得了優異的成績。

生成式AI和大語言模型需要服務器集群來滿足大規模且更加復雜的計算要求。英特爾Gaudi?2處理器作為一款高性能、完全可編程的AI處理器，整合了多項技術創新，具有高內存帶寬/容量和基于標準以太網技術的縱向擴展能力，并支持使用外接網卡通過PCle接口實現橫向擴展，可滿足多節點集群需要。同時，英特爾不斷打造領先、成熟的軟件生態支持，SynapseAI?軟件套件就針對Gaudi平臺深度學習業務進行了優化，它集成了對TensorFlow和PyTorch框架的支持，并提供眾多流行的計算機視覺和自然語言參考模型，能夠滿足深度學習開發者的多樣化需求。

寶德AI服務器PR8908WG+ Gaudi?2.大模型算力新選擇

寶德AI服務器PR8908WG采用第三代英特爾?至強?可擴展處理器，8U空間支持8顆OAM高速互聯的Gaudi?2 AI加速器，每顆Gaudi?2芯片配置96GB HBM高速內存，GPU與 GPU 之間互聯帶寬達到400GB/s，提供2.1Tbps的P2P互聯帶寬，支持全互聯拓撲，全面滿足大模型訓練的海量通信需求;它支持200Gb ETH和HDR高速智能網卡，支持GPU Direct RDMA，完美滿足集群和超大規模擴展應用。

PR8908WG擁有32個DDR4 DIMM插槽，最大支持8TB 32x 256 GB DRAM;支持24塊2.5英寸SAS/SATA熱插拔硬盤位，默認支持8塊直連SATA硬盤，4塊NVMe U.2 SSD，同時內置2個NVMe M.2 SSD，實現 CPU 直通設計，降低 I/O 延遲;它提供2個PCIe 4.0 x16 FHFL插槽和2 個PCIe 4.0 x8 FHFL插槽;支持以太網、InfiniBand、OPA等多種不同網絡選擇和互聯需求。

PR8908WG整機采用模塊化設計，獨立的GPU和CPU 熱量分區設計確保系統在最苛刻的工作負載下性能和穩定性不受影響;同時板載集成BMC、支持通過RAID卡超級電容、支持IPMI 2.0遠程管理等，非常方便用戶對AI算力設備的維護管理。

綜上，寶德AI加速計算服務器PR8908WG可以滿足AI不同場景下海量數據的計算和推理需求，特別適用于大模型訓練和推理、深度學習、自動駕駛、智能城市、醫療健康、大數據、高性能計算(HPC)和虛擬現實等應用場景，幫助加速更多AI技術的落地和應用。

大模型將帶來AI新價值，“百模大戰時代”已經來臨。隨著各大模型的爭奇斗艷和對成本、盈利模式等的日益關注，性價比為王將成為AI算力的新標準。作為中國領先的計算產品方案提供商，寶德計算將繼續發揮AI服務器領域的技術優勢和市場經驗，攜手英特爾等合作伙伴不斷創新，探索大模型算力的更多選擇，打造更具性價比的AI算力和解決方案，助力中國大模型更多細分場景的落地和商業變現，共同加速中國大模型技術的發展步伐，推動中國人工智能產業的整體升級!

審核編輯：湯梓紅