近日,沐曦集成電路(上海)有限公司(下稱“沐曦”)曦云C500千億參數AI大模型訓練及通用計算GPU與未來速度旗下大模型推理及數據分析產品完成適配。
沐曦旗艦產品曦云C500基于自主研發的高性能GPU IP,特別適合千億參數AI大模型的訓練和推理;基于全自研 GPU 指令集打造的MXMACA軟件棧,全面兼容主流GPU生態,實現用戶零成本遷移;通過自主知識產權的MetaXLink實現單機8卡GPU全互聯,提供構建高密度算力和云計算部署的優秀國產GPU解決方案;可廣泛應用于千億參數AI大模型訓練與推理、AIGC內容生成、推薦系統、自動語音識別、語音合成、圖像分割檢測,以及科學計算、數據庫加速等多種場景。
本次在較短時間內雙方完成多個模型框架的適配工作,充分證明了曦云C500千億參數AI大模型訓練及通用計算GPU的高通用性和靈活性,雙方的合作降低了大模型推理和大規模數據處理的門檻。
大模型推理框架適配結果
依托曦云C500軟件棧MXMACA的完美兼容性,分布式推理框架Xorbits Inference成功運行了70B的LLaMa2模型,成為首個在單張國產GPU上完成 70B大模型推理任務的案例。該模型能夠流暢地在本地環境中部署,讓用戶輕松一鍵部署個性化模型或前沿的開源模型。
數據分析框架適配結果
通過不到一天時間完成兼容對接,Xorbits依托曦云C500不僅能夠高效地處理TPC-H基準測試中的22個復雜查詢場景,還提供了簡潔、可讀性強的代碼,這使得Xorbits的解決方案易于理解、維護和擴展,為用戶帶來了極大的便利和靈活性。
關于沐曦
沐曦致力于為異構計算提供安全可靠的GPU芯片及解決方案,打造全棧GPU芯片產品,推出曦思N系列GPU用于AI推理,曦云C系列GPU用于千億參數AI大模型訓練及通用計算,以及曦彩G系列GPU用于圖形渲染,滿足數據中心對“高能效”及“高通用性”的算力需求。沐曦產品均采用完全自主研發的GPU IP,擁有完全自主的指令集和架構,配以兼容主流GPU生態的完整軟件棧(MXMACA),具備高能效和高通用性的天然優勢,能夠為客戶構建軟硬件一體的全面生態解決方案,是“雙碳”背景下推動數據中心建設和產業數字化、智能化轉型升級的算力基石。
-
gpu
+關注
關注
27文章
4478瀏覽量
127195 -
沐曦
+關注
關注
0文章
25瀏覽量
1099 -
大模型
+關注
關注
2文章
1804瀏覽量
1393
原文標題:沐曦與未來速度完成兼容性測試
文章出處:【微信號:沐曦MetaX,微信公眾號:沐曦MetaX】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論