PODsys：大模型AI算力平臺部署的開源“神器”

大模型是通用人工智能的底座，但大模型訓練對算力平臺的依賴非常大。大模型算力平臺是指支撐大模型訓練和推理部署的算力基礎設施，包括業界最新的加速卡、高速互聯網絡、高性能分布式存儲系統、液冷系統和高效易用的大模型研發工具和框架。在算力平臺的部署過程中，大模型研發機構常常需要面對一系列的問題：大模型算力平臺是什么樣的？如何快速構建大模型算力平臺？如何確保算力平臺穩定可靠？如何提升部署效率？如何提升算力平臺的性能……這些問題能否順利解決，直接關系到大模型研發和應用落地的速度。

為了幫助用戶加速大模型的技術創新與應用落地，浪潮信息發布了大模型智算軟件棧OGAI（Open GenAI Infra）。OGAI由5層架構組成，從L0到L4分別對應于基礎設施層的智算中心OS產品、系統環境層的PODsys產品、調度平臺層的AIStation產品、模型工具層的YLink產品和多模納管層的MModel產品。其中L1層PODsys是一個為客戶提供智算集群系統環境部署方案的開源項目，具備基礎設施環境安裝、環境部署、用戶管理、系統監控和資源調度等能力。用戶只需執行兩條簡單的命令，即可完成大模型算力平臺的部署，將大模型算力平臺部署效率提升11倍，幫助用戶順利邁出大模型研發的第一步。（下載地址：https://podsys.ai/）

大模型算力平臺部署難題亟待求解

大模型參數量和訓練數據復雜性快速增加，對AI算力平臺的建設提出了新的要求，即需要從數據中心規?；懔Σ渴鸬慕嵌?，統籌考慮大模型分布式訓練對計算、網絡和存儲的需求特點，并集成平臺軟件、結合應用實踐，充分關注數據傳輸、任務調度、并行優化、資源利用率等，設計和構建高性能、高速互聯、存算平衡的可擴展集群系統，以滿足AI大模型的訓練需求。

強大的大模型算力平臺不僅需要高性能的CPU、GPU、存儲、網絡等硬件設備，還需要考慮不同硬件和軟件之間的兼容性和版本選擇，確保驅動和工具的適配性和穩定性。當算力平臺的規模從十幾臺服務器擴展到幾百臺，平臺部署難度會呈指數級上升。

首先，算力平臺部署需要的相關驅動程序、軟件包往往高達數十個，正確安裝、部署并優化這些驅動程序與軟件，需要專業的運維工程師和大量調試時間，嚴重影響部署效率。其次，為了確保算力平臺的高性能和穩定運行，需要驗證不同硬件環境下的軟件適配，優化BIOS、操作系統、底層驅動、文件系統和網絡等多項指標，找到最優的選擇，這一工作同樣費時費力。此外，算力平臺的資源狀態處于時刻的變動中，如果不進行合理的資源調度與管理，很容易影響平臺的資源利用率。

PODsys讓大模型算力平臺部署"易如反掌"

PODsys專注于大模型算力平臺部署場景，提供包括基礎設施環境安裝、環境部署、用戶管理、系統監控和資源調度在內的完整工具鏈，旨在打造一個開源、高效、兼容、易用的智算集群系統方案。

PODsys整合了大模型算力平臺部署所需的數十個驅動、軟件等安裝包以及對應的依賴和兼容關系，并提供了一系列的簡化部署的腳本工具。使用這些工具只需要簡單2個步驟，PODsys即可幫助用戶快速部署大模型算力平臺。

步驟1：使用docker run命令快速啟動PODsys系統。

PODsys系統集成了大模型算力平臺部署所需的操作系統、GPU驅動、網卡驅動、通信加速庫等數十個驅動程序、軟件和安裝包，并提供了一系列腳本工具來簡化部署，讓用戶可以快速安裝、配置和更新集群環境。PODsys大量選用了業界廣泛使用的主流開源系統、工具、框架和軟件，來保障整個部署方案的開放性、兼容性和穩定性。

步驟2：使用install_client命令快速部署大模型算力平臺的并行軟件環境。

PODsys將單機部署方式改成集群部署方式，可將部署效率提升11倍以上。在管理節點運行一句簡單的命令（install_client.sh），即可完成大模型算力平臺的環境配置，集成了高速文件系統接口、自動化運維工具、NVDIA CUDA編程框架、NCCL高性能通信庫，支持NGC加速平臺等功能。并能實現多用戶、多租戶管理集群。

PODsys提供了全面的系統監控和管理，幫助用戶實時監控集群的狀態和性能指標。通過可視化的界面，用戶可以查看集群資源的使用情況、作業的執行情況和性能瓶頸，從而及時調整集群配置和優化作業性能，來保證算力平臺的高性能和穩定運行。

此外，PODsys具備高效的資源調度和作業管理功能，可以根據用戶的需求自動調度和管理作業，確保集群的資源利用率和作業的執行效率。

伴隨著大模型的快速應用，算力平臺的魯棒性、易用性、部署效率成為用戶關注的首要問題。針對商業用戶，PODsys還提供專業的算力平臺性能調優服務。

總之，PODsys提供了一套完整的工具鏈，將大模型平臺部署變得像系統安裝一樣簡單，讓用戶省時、省力地部署大模型算力平臺，助力大模型創新走好第一步。