Arm平臺賦能移動端生成式AI

生成式人工智能 (Generative AI) 涵蓋了當下廣為人知，且備受關注的大語言模型 (LLM)，如今也已落地邊緣側的移動設備。這意味著，無論是生成圖像和視頻，還是理解上下文語義，AI 的生成式推理將開始由移動設備進行全權處理，而非交由云端處理后返回結果。

Arm 作為基石技術，使得無處不在的 AI 成為可能，其中就包括移動端的生成式 AI。無論是支持 AI 功能的新款旗艦智能手機，還是直接在 Arm CPU 上處理 LLM，這些振奮人心的開發成果都展現了 Arm 作為基石技術的實際應用價值。

AI 賦能的新款智能手機

采用 Armv9 架構的 CPU 和 GPU 技術的高性能 AI 智能手機現已問世，其中包括搭載 MediaTek 天璣 9300 的 vivo X100 和 X100 Pro 智能手機、三星 Galaxy S24 以及谷歌 Pixel 8。

這些旗艦移動設備兼顧性能與效率，為 AI 創新提供了前所未有的機遇。事實上，在過去十年間，得益于 Arm CPU 和 GPU 的性能提升，在移動平臺上的 AI 處理能力每兩年實現翻番。

未來，我們會將更多 AI 性能、技術和功能加入到我們堅實的消費技術路線圖中，推動這一趨勢不斷發展。同樣起助推作用的還有當下的邊緣側 AI 推理熱潮，以及使用 LLM 等經過訓練的模型來驅動基于 AI 的應用，隨著更多的 AI 支持和專用指令的加入，CPU 將成為滿足這一需求的理想選擇。

一切始于 CPU

大多數情況下，移動設備的 AI 功能都始于 CPU，例如對面部、手部和身體動作的追蹤，高級的相機效果和濾鏡，以及許多社交應用中的細分功能。此類 AI 工作負載的處理可能全權交由 CPU，或是結合 GPU 或 NPU 等協處理器一起提供支持。Arm 的 CPU 設計廣泛應用于當今全球數十億人使用的智能手機系統級芯片 (SoC) 中，對于在終端設備實現 AI 工作負載至關重要。

目前，70% 的第三方應用所使用的 AI 均基于 Arm CPU 運行，包括新發布的社交類、健康類和基于相機功能的應用等。除了設計的普及性，Arm CPU 還具有靈活性和 AI 功能，因此成為了移動設備領域開發者首選的應用 AI 工作負載處理器。

就靈活性而言，Arm CPU 能夠以多種數據格式運行各類神經網絡。展望未來，未來的 Arm CPU 將在指令集中加入更多 AI 功能，惠及行業領先的 Arm 生態系統，例如適用于 Armv9-A 架構的可擴展矩陣擴展 (Scalable Matrix Extension, SME)，幫助全球開發者為其 AI 應用提供更高的性能、創新功能和可擴展性。

Arm 將領先的硬件水平與軟件生態系統支持相結合，打造出高性能計算平臺，推動邊緣生成式 AI 的興起，讓游戲迭代、圖像增強、語言翻譯、文本生成和虛擬助手等功能成為可能。我們在今年二月的 2024 世界移動通信大會 (MWC 2024)上展示了部分新一代 AI 工作負載的示例。

Arm 計算平臺上的移動端 LLM

我們制作了一個虛擬助手演示，在移動端聊天類應用上使用了 Meta 的 LLAMA2-7B LLM?；?Arm CPU，無需加速器，即可完全在邊緣側移動設備上運行生成式 AI 工作負載。利用現有的針對 AI 的 CPU 指令，結合 Arm 計算平臺（包括 Arm AI 軟件庫）針對 LLM 的專門的軟件優化，我們實現了出色的性能表現。

從上面的視頻中可以看出，詞元 (Token) 首次響應時間表現優異，文本生成速率接近每秒 10 個詞元，高于人們的平均閱讀速度。這得益于經過高度優化的 CPU 例程，它來自于由 Arm 工程團隊開發的軟件庫；與 LLAMA2-7B LLM 中的原生實現相比，詞元首次響應時間縮短 50%，文本生成速率提高 20%。

此外，AI 開發者也可在 Arm CPU 上利用自己的技術，進一步優化軟件，讓 LLM 變得更小、更高效、更快速。

LLM 越小、越快，就意味著 AI 處理可以在邊緣側進行。用戶可以享受到響應更快、更靈敏的 AI 體驗。此外，由于用戶數據僅在移動設備本地處理，隱私保護也能做得更好。同時，對于移動端生態系統而言，這種成本更低、可擴展性更強的選擇，也更有利于在數十億移動設備上部署 AI。

推動移動設備上的生成式 AI

作為最為普及的移動端計算平臺和高效計算領域的領導者，Arm 擔負著在邊緣側實現高效、高性能生成式 AI 的責任。我們已經展示了完全基于我們領先的 CPU 技術所運行的 LLM 的卓越性能。而這僅僅只是開始。

更小、更高效的 LLM，Arm CPU 為移動設備帶來的更高性能，以及由業界領先的生態系統所提供的創新軟件優化，三者的結合將繼續推動移動端生成式 AI 的普及。

鑒于 Arm CPU 是移動端生成式 AI 創新的核心，作為 AI 的運行基礎，Arm 將持續賦能每位開發者，實現無處不在的 AI。

審核編輯：劉清