開放加速規范AI服務器的設計方法

當前語言大模型的參數量已達千億以上，訓練數據集的規模也達到了TB級別。業界典型的自然語言大模型有GPT、LLAMA、PaLM、文心、悟道、源等。如果用“算力當量”（PetaFlops/s-day，PD），即每秒千萬億次的計算機完整運行一天消耗的算力總量來表征大模型的算力需求，具有1750億參數的GPT-3模型的訓練算力需求為3640PetaFlop/s-day。

參數量為2457億的源1.0大模型訓練算力消耗為4095Peta-Flop/s-day。大模型的高效訓練通常需要具備千卡以上高算力AI芯片構成的AI服務器集群支撐。在全球科技企業加大投入生成式AI研發和應用的大背景下，配置高算力AI芯片的AI服務器需求也不斷高漲。

2019年OCP成立OAI小組，對更適合超大規模深度學習訓練的AI加速卡形態進行了定義，目的是為了支持更高功耗、更大互連帶寬AI加速卡的物理和電氣形態，同時為了解決多元AI加速卡形態和接口不統一的問題。隨后，為了進一步促進OAI生態的建立，OAI小組在OAM的基礎上統一了AI加速卡基板OAI-UBB設計規范。OAI-UBB規范以8張OAM為一個整體，進一步定義了8xOAM的Baseboard的主機接口、供電方式、散熱方式、管理接口、卡間互連拓撲、Scale Out方式。

2019年底，OCP正式發布了OAI-UBB1.0設計規范，并隨后推出了基于OAI-UBB1.0規范的開放加速硬件平臺，無需硬件修改即可支持不同廠商的OAM產品。

面向生成式AI的大模型算力系統的構建是一項復雜的系統工程，基于上述設計原則，以提高適配部署效率、提高系統穩定性、提高系統可用性為目標，進一步歸納總結出開放加速規范AI服務器的設計方法。

面向AIGC的計算系統交付模式不再是單一服務器，絕大多數情況最終部署的形式是包含計算、存儲、網絡設備，軟件、框架、模型組件，機柜、制冷、供電、液冷基礎設施等在內的一體化高集成度算力集群。

（1）系統架構

為滿足大模型訓練模型參數規模的不斷增大給模型訓練帶來的計算、存儲、通信等方面的挑戰，系統架構設計將賦能AI服務器節點和服務器集群以超大規模集群互連的大模型訓練能力。OAM 是 OCP-OAI 小組制定的 AI加速模塊接口規范，現已發布 OAM v1.5 規范，OAM 模塊承擔起單個 GPU 節點的 AI 加速計算能力，通過符合 UBB v1.5 base 規范的基板完成OAM間的 7P × 8 FC（Fully Connect，全互連）、6P × 8 HCM（Hybrid cubic mesh，混合立方互連）等高速互連拓撲實現多OAM數據低延時共享，利用RDMA網絡部署等優化通過OSFP/QSFP-DD線纜實現對外拓展完成集群互連，突破了服務器集群在GPU計算資源、通信效率上的瓶頸，最大程度發揮OAM計算性能并降低通信帶寬限制。OAM模塊透過 PCIe Switch 通過4條PCIe x 16與高性能CPU建立起高速高帶寬數據通道，并支持搭配32條RDIMM或LRDIMM內存，以最大程度的保障OAM與CPU之間的數據通信處理需求。

（2）OAM模塊

OAM規范由OCP-OAI建立，定義了開放硬件計算加速模塊的結構形態及互連接口，簡化了OAM模塊間高速通信鏈路互連，以此促進跨加速器通信的可擴展性。CPU與OAM 間的連接是透過 PCIe Switch 上行與CPU 4條PCIe x16帶寬完成，極大程度增加CPU與OAM之間的數據通信數量，避免大數據量AI訓練場景中CPU與OAM間數據通信出現瓶頸。支持節點內及節點間OAMP2P高速互連，OAM之間全互連拓撲改善了多OAM數據共享的延遲情況，為計算提供更高效的性能。

（3）UBB基板

UBB基板能夠承載支持8個OAM模塊，形成一個AI加速計算子系統。UBB尺寸為16.7×21英寸，搭配UBB的機型可以放置于19英寸或21英寸機柜之中。UBB基板上的8個OAM模塊通過可以通過OAM設計規范中的不同互連拓撲進行互連。UBB鏈路可以被拆分為×8鏈路，如果所有7個端口對配置成×16將無法完成對外拓展，因此為實現節點對外拓展形成互連集群，UBB基板將互連鏈路限制在×8以內，并默認設計端口1的后半部分（×8，通常稱為1H端口）被用作對外拓展端口。

4）硬件設計

UBB基板及OAM硬件設計應遵從UBB規范及OAM規范中的各項硬件規范、電氣規范、時序規范等。遵從UBB規范中對OAM布局的規范。

OAM 互連拓撲損耗評估標準。對 OAM 互連所涉及的56Gbps PAM信號進行信號完整性設計，包括高速走線參考平面設計、高噪聲電源區域走線、過孔stub及層面規劃、走線間距、過孔間串擾控制等。OAM之間互連信號，整體損耗在基頻處要求在30dB 以內，其中OAM 的 TX & RX 模組損耗需 控 制 在 8dB 以 內 ， C a b l e 拓 撲 要 求QSFP-DD assembly 線纜損耗在5dB以內，PCB 損耗根據拓撲具體計算即可。

（5）散熱設計

風冷散熱：服務器節點風冷散熱使用高效能風扇墻設計，并采用側邊防回流設計以增大相同風扇轉速下的系統風量。采用導風罩設計的基礎上增加OAM、CPU區域多風道隔離設計，能夠結合區域感溫能力實現分區散熱。風扇全部支持熱插拔，支持N+1轉子冗余，支持風扇速度智能調節。針對UBB基板及OAM模塊，進行散熱器性能的熱阻值參數設計。

（6）系統管理

OAM模塊的系統管理方面的設計包含提供資產信息、規范寄存器，并支持滿足FW更新、帶外監控要求功能。資產信息提供對OAM模塊PN、SN、FW版本等信息的訪問；寄存器信息提供對電壓、功耗、溫度、ECC狀態及錯誤、外設錯誤、PCIe錯誤、Memory錯誤等信息的訪問；帶外監控提供溫度、功耗、OAM模塊信息、異常告警、OAM狀態、卡復位等功能。

（7）故障診斷

故障診斷功能包含OAM卡內部Uncorrect able Error、PCIe 總線錯誤、ESL 連接異常、卡丟失等功能。通過BMC可監控系統PCIeSwitch模塊、UBB基板及OAM模塊的ECC狀態及錯誤、外設錯誤、PCIe錯誤、Memory錯誤等。支持鏈路級別的高級故障診斷功能，通過全時監測PCIe Switch運行日志獲取OAM卡故障信息。

（8）軟件平臺

針對大模型開發過程中存在的調度難、部署慢、效率低、集群異常等問題，構建具備高性能、高可靠、可擴展的AI算力資源統一管理和人工智能作業調度平臺，通過計算資源池化和容器化技術，屏蔽底層硬件差異，以標準算力模式面向用戶直接提供計算資源，并通過適應性策略及敏捷框架對算力進行精準調度配給。

本文來自“開放加速規范AI服務器設計指南（2023）”，以上分享了系統架構、OAM模塊、UBB基板、硬件設計、散熱設計、系統管理、故障診斷、軟件平臺；集群網絡與存儲、整機柜、液冷、制冷、運維等相關規范詳情，請下指南原文。

審核編輯：湯梓紅