沐曦付軒：蹄急而步穩，GPU助力ChatGPT快、準、穩全面發展

2023年6月17日，由紹興市人民政府主辦的 2023 中國（紹興）集成電路產業峰會隆重舉行，“ChatGPT風向下的集成電路新趨勢”論壇及集成電路項目路演也同期舉行，為百余位產業從業者提供深入了解行業發展動態和交流合作的機會。沐曦首席解決方案架構師付軒受邀參會并發表演講。

付軒在“ChatGPT風向下的集成電路新趨勢”論壇中發表主題為《蹄急而步穩：ChatGPT與高性能GPU戰略概覽》的主題演講，分析了ChatGPT的應用特點及軟硬件需求，指出以ChatGPT為代表的大模型發展需要大的通用算力與矩陣算力作為支撐，并且作為基于GPU生態發展起來的模型，對GPU顯存、GPU間互聯通信、通用GPU編程框架及軟件生態等多方面均有很高的要求。因此，作為算力底座的GPU不僅需要算得快，還要算得準、算得穩，不僅要提供高效計算，還要保證結果準確，并且靈活可靠。

對此，可以采取以下策略：首先，針對ChatGPT大模型訓練，大集群3D并行是一種有效方式，能夠集張量并行、流水并行和數據并行為一體，與只有數據并行的小模型相比，是一種完全不同的復雜并行結構。在大模型推理方面，推理精度要求高，延遲容忍度高，帶來越來越多的云端高算力推理需求，更適合在數據中心中運行，也符合“東數西算”的戰略規劃。同時，基于高性能GPU生態的算法創新實現算子提速并極大減少顯存消耗，通用算力與矩陣算力的高效協作實現算子融合加速，穩定可靠的千卡大集群、GPU軟硬件結合、“訓推一體”優化保障訓練和推理的精度，均是能夠使大模型計算實現快、準、穩的可行性措施。

沐曦作為一家提供全棧GPU芯片及解決方案的企業，其旗艦產品曦云C500系列通用GPU采用沐曦自研IP，能夠提供強大的多精度混合算力，同時配以大容量存儲和新一代高速IO接口及多卡互聯技術，不論在矩陣算力、通用算力還是顯存規格方面均可全面支持大模型推理和訓練，并廣泛應用于人工智能、數據中心以及教育和科研等多種場景。同時，沐曦自主研發的MXMACA軟件棧能夠全面兼容主流GPU生態，為客戶提供軟硬件一體的應用解決方案。目前，曦云MXC500芯片已于2023年6月13日成功回片點亮，預計將于今年年底實現量產。

總的來說，ChatGPT對于硬件和軟件均有需求，我們要更好地利用現有的GPU生態，發揮通用算力與矩陣算力的全面優勢，做好算子的算法創新和加速。同時，在做千卡大集群時，單節點內的多GPU互聯也是必須的。此外，當前各種大模型創新層出不窮，我們要把各種各樣的大模型遷移到曦云C500上來，因此生態兼容也至關重要。做到以上幾點，大模型就能夠更好地在國內實現高效迭代與應用落地。

關于沐曦

沐曦致力于為異構計算提供安全可靠的GPU芯片及解決方案，打造全棧GPU芯片產品，推出MXN系列GPU（曦思）用于AI推理，MXC系列GPU（曦云）用于AI訓練及通用計算，以及MXG系列GPU（曦彩）用于圖形渲染，滿足數據中心對“高能效”及“高通用性”的算力需求。沐曦產品均采用完全自主研發的GPU IP，擁有完全自主的指令集和架構，配以兼容主流GPU生態的完整軟件棧（MXMACA），具備高能效和高通用性的天然優勢，能夠為客戶構建軟硬件一體的全面生態解決方案，是“雙碳”背景下推動數據中心建設和產業數字化、智能化轉型升級的算力基石。