算力為基，共筑AI新生態

NEWS

9月22日，華為全聯接大會2023期間，華為計算產品線總裁張熙偉發表《算力為基，共筑AI新生態》主題演講，他表示：華為將深耕算力底座，聚焦鯤鵬、昇騰基礎軟硬件創新，攜手伙伴與開發者，打造開放、易用平臺，使能百模千態，共贏數智未來。

華為計算產品線總裁張熙偉

以下是演講全文

尊敬的伙伴、開發者朋友們，大家上午好！

很高興與大家再次相聚在華為全聯接大會2023，分享計算產業的生態進展與規劃，暢想AI時代。

人工智能正進入百模千態的大模型時代，對AI的生態發展提出了新的挑戰。

一方面，大模型快速演進，融合算子、加速庫更加豐富，需要更加開放的技術體系，讓開發者更靈活的實現大模型創新。

另一方面，隨著參數、數據快速增長，大模型的開發、調試、優化更復雜，業界需要更易用的全流程使能平臺，加速大模型的開發與部署。

另外，大模型訓練投入大，軟硬件工程能力要求高，行業有更強的商業變現訴求。需要全產業鏈伙伴合理分工，高效協同，才能實現商業共贏。

過去四年，昇騰圍繞軟硬件協同、AI框架與工具鏈，持續夯實基礎，發展技術與商業生態，支撐了全國20多個城市人工智能計算中心的建設，同時我們深入行業應用場景，服務金融、運營商、互聯網等行業的智能化升級。

這一切都離不開每一位伙伴和開發者的共同努力，再次感謝大家一路同行，對昇騰的信賴與支持。

面向大模型時代，我們將持續聚焦伙伴與開發者的需求，全面升級昇騰基礎軟硬件，以開放、易用的平臺使能百模千態；以高效協同的生態賦能千行萬業。

01全面開放，靈活選擇使能大模型創新

平臺的開放和兼容一直是伙伴和開發者最為關心的問題。昇騰面向算子、框架、加速庫和大模型全面開放，廣泛支持、兼容業界生態，為大模型創新提供更多靈活選擇。

首先，昇騰提供豐富的融合算子，如主流的FlashAttention、FFN等，可在昇騰上實現性能倍級提升；

其次，昇騰已全面支持PyTorch、飛槳、昇思等業界框架，同時PyTorch社區也在持續增強對昇騰的支持，今年10月社區將發布2.1版本，原生支持昇騰，歡迎大家下載使用。

在加速庫與開發套件上，除了兼容業界主流的DeepSpeed、Megatron外，昇騰自主構建了大模型加速庫AscendSpeed，提供豐富的大模型訓練并行能力。同時，HuggingFace社區最新的Transformers、Accelerate等代碼倉也已原生支持昇騰，開發者直接下載，安裝即用。

模型層面上，目前已有50+主流的基礎大模型基于昇騰訓練迭代，昨天也有9家伙伴發布了大模型訓推一體機，為行業提供更加豐富的選擇。

02深度開放，使能開發者構筑差異化競爭力

算子和加速庫是決定大模型訓練與推理性能的關鍵，為支撐開發者孵化出更高性能的自定義算子、加速庫，我們新增開放底層運行時，開發者可直接使用NPU上的核資源、控制流、任務調度等接口，原生構建差異化競爭力，各類接口將于年底前陸續開放。

在編程上，今年5月發布的Ascend C編程語言，簡化開發邏輯，匹配開發習慣。這半年來持續升級迭代，支持混合編程與編譯，增加歸一化、三角函數等API，300余行大算子的開發周期從最初的2人月降到現在的2人周，大幅提升大模型創新效率。

03ModelZoo2.0正式發布上線

為了更好的發育大模型生態，昇騰社區全新升級了原有的ModelZoo，在已提供數百個預訓練模型的基礎上，年底前將持續上線40多個昇騰親和的預訓練大模型，同時支持各類大模型在線的功能體驗 與性能對比，開放全流程的大模型開發工具與套件，支撐開發者快速實現大模型的二次開發。今天，ModelZoo 2.0正式上線昇騰社區。

歡迎訪問昇騰社區ModelZoo 2.0，也歡迎各位伙伴和開發者使用并反饋建議，共建大模型生態開源開放的新陣地。

04大模型超級流水線，全流程使能大模型創新落地

大模型創新涉及多個階段，是個復雜的系統工程，除了以昇騰的大算力來加速訓練外，我們還提供了大模型超級流水線，以友好的大模型開發環境和統一的全流程工具鏈，加速大模型的開發、遷移與部署。

在腳本開發階段，我們將經驗沉淀成為大模型開發套件，覆蓋業界主流的LLaMA、BLOOM、GLM等20多個開源大模型，并支持在PyTorch和昇思框架上使用。

針對開發套件已支持的大模型，通過調用高階API，十幾行代碼即可構建出完整的大模型腳本。通過多種并行算法，幾行代碼即可實現復雜的多維混合并行。同時提供了豐富的低參微調模板，支持一鍵啟動微調，并生成模型評估報告。

為了幫助大家將已有的大模型敏捷的遷移至昇騰上，我們提供了一站式工具鏈MindStudio。

首先，千億大模型全量腳本的遷移，多數僅需兩行代碼，針對定制算子也只需輕量的代碼修改；如遷移出現精度偏差，MindStudio還支持精度數據自動導出與溢出分析，周級實現精度優化。

其次，性能調優一直是最挑戰的環節，隨著BatchSize的增大，算力、內存和并行數據量隨之增加，如何提升系統資源利用率尤為重要。為此，MindStudio提供集群性能數據分析與調優能力，如算子瓶頸分析、內存占用統計、慢卡通信定位和分布式策略優化等功能，大幅降低訓練集群的調優難度。

推理部署是大模型落地的“最后一公里”，快速部署與高效執行是核心。

• 一方面，昇騰CANN的能力可開放給客戶自有的推理引擎，幫助客戶完成推理部署。

• 另一方面，我們也提供昇騰推理引擎，將模型壓縮、推理加速和推理執行等能力，以統一API接口提供出來，方便伙伴開發推理應用。同時昇騰推理引擎支持多種推理執行方式，比如PyTorch、昇思的帶框架推理、ONNX離線推理以及Triton的推理服務化。

05鼓勵昇騰原生創新，加速伙伴商業共贏

為共筑繁榮的大模型生態，實現伙伴商業共贏。昇騰圍繞科研創新使能計劃和大模型促進計劃，鼓勵開發者基于昇騰原生創新，打造更具競爭力的場景化解決方案。

技術創新上，我們將每年投入千萬資金扶持科研院所，推出系列大模型課程賦能高校教學，圍繞開發者成長路徑，激發價值創新。

商業方面，我們將投入一億資金支持大模型的技術聯創，大模型伙伴可享受NRE和MDF兩項權益，獲得三大專屬的市場支持。

技術賦能商業成功，商業牽引技術進步，雙輪驅動，共同打造更加協同的人工智能新生態。

06以AI賦能openEuler更智能，以openEuler使能AI更高效

人工智能的飛速發展對操作系統也帶來了深刻影響。

▌一方面，大模型讓歐拉更智能。

面向終端用戶，Windows 12結合AI為大家帶來了無限期待，面向數字基礎設施，歐拉作為首個廣泛支持AI的開源操作系統，正在顛覆傳統的命令行交互方式。我們使用ChatGLM基礎模型，基于大量歐拉操作系統的代碼和數據，訓練出了EulerCopilot，初步實現代碼輔助生成、問題智能分析、系統輔助運維等功能。以前需要多領域專家協同解決的問題，未來都可以交給EulerCopilot。

▌另一方面，歐拉使能AI更高效。

歐拉通過異構資源統一管理與調度，實現CPU和XPU的深度融合，以更全局、更均衡和更精細化的視角統籌內存和算力，充分挖掘空閑資源，提升有效利用率，進而提升AI訓練和推理性能。這些功能都會持續貢獻社區，并合入23.09與24.03LTS版本發布。

未來歐拉將攜手伙伴、社區開發者，面向快速發展的行業需求，集成更多AI能力，高效統籌異構算力，致力于將歐拉打造成為全球領先的開源操作系統。

智能化的加速發展需要堅實的數字化底座，數字化的深度決定智能化的高度，過去幾年鯤鵬積極構建開放的軟硬件平臺，深耕行業數字化。

07鯤鵬全棧升級，使能伙伴更卓越，加速千行萬業智能化

為了更好的賦能伙伴，服務客戶，我們持續升級鯤鵬軟硬件平臺。

昨天，我們發布了天池架構，支持伙伴面向千行萬業，快速推出差異化機型。

基礎軟件方面，openEuler全場景協同能力持續增強，進一步提供負載動態感知等關鍵能力，做到開箱即優。

同時，我們還升級了鯤鵬BoostKit和DevKit 2大套件，八大主流場景性能持續提升，通過四大場景化SDK助力鯤鵬高效原生開發。

人才是產業發展的根基，高校是人才培養的搖籃。3年前，華為聯合教育部啟動了智能基座項目，通過與72所高校的共同努力，積累了大量的鯤鵬、昇騰教學經驗與資源。在高校人才峰會上，智能基座項目將升級走向2.0，持續深化產教融合與科教融合。

高校學生是產業的未來，而開發者則代表了產業當下，我們將依托 “鯤鵬、昇騰”兩大社區，圍繞 “眾智和開發者成長”兩大計劃，通過 “創新大賽與創享日”兩大活動，持續培育開發者，讓開發者成為計算產業發展的中堅力量。

大模型帶來新生態，大時代迎來新機遇。讓我們攜手奮進，眾智合力，以算力為基，構筑開放、易用、協同的新生態，共創美好的數智新未來！