Arm推動生成式AI落地邊緣！全新Ethos-U85 AI加速器支持Transformer 架構，性能提升四倍

電子發燒友網報道（文/黃晶晶）在嵌入式領域，邊緣與端側AI推理需求不斷增長，Arm既有Helium 技術使 CPU 能夠執行更多計算密集型的 AI 推理算法，也有Ethos 系列 AI 加速器，以滿足更高性能和更復雜的 AI 工作負載。Ethos-U NPU系列是業界首款 AI 微加速器，英飛凌、恩智浦半導體、奇景光電 (Himax)、Alif Semiconductor 和 Synaptics 等領先企業均已推出搭載 Ethos-U 的量產芯片。最近，Arm發布Arm Ethos-U85 AI加速器，這款加速器在性能、算力、應用場景方面進一步拓展，著眼于未來幾年的邊緣AI的應用所需。

全新Arm Ethos-U85 AI加速器

與上一代產品相比，Ethos-U85 性能提升四倍，能效提高 20%，它支持MAC 單元從 128 個擴展到 2048 個（在 1GHz 時，算力實現 4 TOPs）。Ethos-U85 提供了相同的一致工具鏈，實現無縫的開發者體驗。全新 Ethos-U85 NPU 支持TensorFlow Lite 和 PyTorch 等 AI 框架。Ethos-U85可滿足于智能家居、零售、工業等新興的邊緣 AI 場景對更高性能計算的需求。

圖：Arm Ethos-U85 提供卓越的神經網絡加速功能

Ethos-U85支持Transformer 架構和卷積神經網絡 (CNN) 以實現 AI 推理。Arm 物聯網事業部業務拓展副總裁馬健Chloe Ma分析，Ethos-U85 不僅僅提供卷積神經網絡 (CNN) 所需的權重矩陣乘的運算，還支持矩陣相乘，這是 Transformer 架構網絡的一個基本組成部分。Ethos-U85 增加對Transformer 架構網絡的支持，這是優化大模型邊緣落地微調時間、提升模型泛化的一個關鍵特性。

馬健表示：“基于 Transformer 的模型具有優異的泛化功能，它將更快地驅動新 AI 應用的發展。Transformer 在視覺和生成式 AI 用例中，比如視頻理解、圖文結合，圖像增強與生成、圖像分類和目標檢測等方面都極有價值。Transformer 架構網絡的注意力機制容易利用并行計算來實現，提高硬件使用效率，使得這些模型能夠部署在計算資源有限的邊緣設備上。開發者可以通過選用針對 Transformer 架構網絡優化的設計，發掘邊緣 AI 的新機遇，使這些應用享有更快的推理、更優化的模型性能和可擴展性?！?br />
Ethos-U85 不僅支持低功耗MCU的AI加速。在高性能邊緣計算系統中，Ethos-U85與Armv9 Cortex-A CPU相結合，為基于應用處理器的智能物聯網平臺上運行的AI任務實現加速。這將使 Ethos-U85 能夠在工業機器視覺、邊緣網關、可穿戴設備和消費類機器人等應用中，帶來高效能的邊緣推理。

全新Arm Corstone-320智能物聯網參考設計平臺

Corstone-320 包含了 Cortex-M 系列最高性能的嵌入式處理器 Cortex-M85，Ethos-U85 NPU AI 加速器以及Arm Mali-C55 ISP等，以實現為視覺應用優化的低功耗系統。與此前推出的Arm物聯網參考設計一致，Corstone-320 不僅僅提供芯片計算子系統 IP 組合，還附帶了軟件、AI 模型庫和開發工具，以實現軟件的復用，同時也利用了 Arm 強大的生態系統。它還附帶了仿真 Corstone-320 完整系統的 Arm 虛擬硬件，以及單獨的 CPU 和 NPU 的固定虛擬平臺 (FVP) 模型，以簡化開發并加速產品設計，支持軟硬件并行協同開發。這種提供邊緣 AI 和智能物聯網計算子系統全套軟硬件和工具鏈的方法，使得合作伙伴能夠在一系列性能點上快速開發，并聚焦于打造差異化價值。

圖：Arm 助力加速邊緣 AI 設備部署進程

馬健介紹，全新的參考設計是針對實際工作負載開發的，參考用例包括部署在智能家居中的電池供電攝像系統，以及在工業和零售系統中的低幀率網絡攝像頭。同時，Corstone-320 參考設計提供了有安全保證的軟硬件組合，使得在此參考設計基礎上開發的合作伙伴們能夠順利地通過 PSA Certified Level 2 認證，實現對區域和全球安全標準的合規?？傊?，通過 Corstone-320 預先集成、預先驗證的參考設計模版，Arm 能幫助合作伙伴減少邊緣智能芯片開發的成本和時間。

基于 Arm 平臺的 AI 軟件生態系統

“只有 Arm 計算平臺才能提供 AI 從云到端、現代敏捷開發和部署流程中所需的特性和功能，實現基于量產驗證的一致架構，并采用統一工具鏈完成AI 轉型?！瘪R健說道。實際上，一致性的工具鏈和平臺對于開發者而言非常重要，尤其是面對物聯網碎片化，加上AI功能引入的復雜性，如果缺少一個良好的生態、工具支持，將耗費開發者大量的開發時間。

隨著邊緣 AI 的持續擴展，簡單易用才更適于普及推廣，因此物聯網生態鏈上下游的芯片與系統供應商、算法軟件開發者與集成商們匯聚在Arm計算平臺。目前，包括開發者、數據科學家、學術界在內的 AI 研究開發社區，不僅持續受益于 Arm 生態系統與合作伙伴提供的豐富信息與知識，也圍繞 Arm 計算平臺構建日益增長的軟件和工具生態系統，以及開源軟件庫和 AI 框架，以更簡化的開發流程，擴展邊緣 AI 的部署。

圖：基于 Arm 平臺的 AI 軟件生態系統

馬健舉例說：“大家熟知的 PyTorch 開源 ML 框架，廣泛用于構建和訓練神經網絡模型，而我們也很高興看到 PyTorch 基金會投資邊緣 AI，發布針對移動和邊緣設備推理工具包 ExecuTorch，提供了輕量級運行時 (Runtime) 和算子注冊表，覆蓋了PyTorch生態系統中的各類模型。此外，由于 Arm 特有的 IP 授權許可模式和開放生態，OEM 和 ODM 可以有多種基于 Arm 架構和計算平臺的芯片與模組選擇，更靈活地開發適于最終應用的系統方案?！?br />
小結：

隨著邊緣 AI 的持續發展，Arm 始終處于推動市場和技術進步的核心地位，從 Cortex-M 嵌入式處理器的 Helium 矢量增強指令集，到 Cortex-A 應用處理器的 SVE、SVE2、SME 對矢量和矩陣運算的優化，再到 Ethos-U AI 加速器，Arm 不斷豐富產品線并拉高性能。

馬健表示，Arm 不會止步于此。隨著大模型持續通過量化、剪枝和聚類技術來縮減優化模型，使大模型適于在邊緣和超級終端設備部署，Arm認為大小模型云邊端結合成為未來 AI 產品的重要發展趨勢，也是 AI 應用賦能行業發展的重要方向。而 Arm 已經為此做好準備，來挑戰物聯網與大模型、多模態 AI 結合的性能與效率極限。