將可能變為現實：利用Arm技術實現邊緣AI和ML

作者：Arm 高級副總裁兼物聯網事業部總經理 Paul Williamson

談到人工智能 (AI) 和機器學習 (ML) 時，您會聯想到拖拉機嗎？答案應該是不會，但是《經濟學人》[1]中的這個類比或許能為您帶來些啟發。

雖然拖拉機在二十世紀初一經問世就引起轟動，但農場主們對于新技術的接受速度是非常緩慢的。到 1940 年，僅有 23% 的美國農場采用了拖拉機。為何普及速度如此緩慢？主要原因是拖拉機功能有限、可靠性較差、維護困難，以及價格過于昂貴。但即使如此，大多數農場主心里也明白，一旦這些問題得到解決，且當這個產品更具經濟吸引力，將帶來巨大的變革。

當今技術的普及速度遠遠超過二十世紀的農業領域，但從拖拉機發展歷程中得出的經驗，對于 AI 和 ML 在邊緣領域的早期應用依然具有重要借鑒意義。換言之，對 AI 系統的競相投資不能只停留在對美好未來的憧憬上，而要重視切實可行的實施計劃。正如二十世紀 40 年代，從一開始農民看到拖拉機時的驚奇，轉向切實地提高農業效率，實現農業多樣化和集約化，以及為拖拉機開發更多專用附件和服務。

然而，要在邊緣側實現 AI 和 ML 的規?；瘧?，目前仍需克服重重挑戰。

碎片化格局

市場上針對不同應用和場景的硬件類型五花八門，這構成了在邊緣側部署 AI 和 ML 的一大挑戰。通常，豐富多樣的硬件選擇會導致開發者必須為特定硬件定制模型和代碼，這無疑會增加開發過程的復雜性和管理成本。

現實情況是，與移動設備和高性能物聯網類似，大多數 ML 模型都是在 CPU 上運行。而物聯網又廣泛構建于 Arm 架構之上。2020 年，Arm 推出了 Helium 技術，它是 Arm Cortex-M 指令集的矢量擴展，支持在超低功耗設備上實現 ML 加速。引入 Helium 的 Cortex-M 能夠幫助開發者將 ML 應用的性能提升多達 15 倍，并將其能效提高至少五倍。目前已有超過 35 家合作伙伴推出了采用 Helium 技術的設備，其中包括恩智浦半導體、瑞薩電子、Ambiq 和 Alif Semiconductor。

Arm Ethos NPU 系列產品旨在為邊緣 ML 工作負載提供更優異的性能和能效表現，為您的性能提升之路保駕護航。Ethos NPU 兼具可擴展性和可配置性，能夠針對不同應用提供不同級別的性能和功耗，適用于計算機視覺、自然語言處理、語音識別、推薦系統等多種應用場景。Ethos NPU 可以與任何基于 Arm 技術的 SoC 集成，為從智能音箱到安全攝像頭等各種設備提供無縫的 ML 加速解決方案。

AI 模型生命周期

另一挑戰是 AI 模型的生命周期，其中包括訓練、調整和部署等環節。為了在邊緣部署 AI 模型，開發者需要考慮如何針對特定硬件優化模型。這涉及選擇正確的模型架構、數據格式、量化方案和推理引擎，以便使其能夠在嵌入式設備上高效運行。此外，開發者需要選擇能夠充分利用設備硬件功能（如 Ethos NPU 或 Helium 技術）的推理引擎，以加速模型的執行。

Arm 能夠讓開發者輕松地在嵌入式設備上使用 PyTorch 和 ExecuTorch 等主流 ML 框架。例如，Arm Keil MDK 是可用于簡化嵌入式應用程序開發和調試的集成開發環境 (IDE)，能支持 CMSIS 工具包，而后者為設備能力和 ML 模型提供了通用的抽象層。借助經簡化的開發流程，開發者僅需單一工具鏈和經驗證的單一架構便可以實現 AI 功能。迄今，基于 Cortex-M 的設備出貨量已超過 1000 億臺，在全球范圍內擁有 100 多家 ML 生態系統合作伙伴。

利用 Arm 解決方案，開發者可以減少嵌入式設備中 ML 應用開發所需的時間和成本，同時獲得更優越的性能和能效表現。

使用嵌入式設備

嵌入式開發面臨的主要挑戰之一在于，需要在資源受限的設備上優化 ML 應用的性能和效率。不同于基于云端的解決方案，可利用服務器強大的計算和存儲能力，嵌入式設備通常必須在嚴苛的功耗和延遲性約束之下，在本地運行 ML 模型。為了實現所需的 ML 性能，開發者通常不得不在初代產品的價格或功耗上做出妥協。

而 Arm 虛擬硬件的推出帶來了一種創新思路，它是一款基于 Arm 架構的云端模擬解決方案，使開發者可以在不依賴物理硬件的情況下開發和測試 ML 應用。該解決方案可與 AWS SageMaker 和 Google Cloud AI Platform 等 MLOps 解決方案無縫集成，有效簡化了 ML 模型在各種設備上的部署和管理。這些平臺提供的工具和服務支持自動執行 ML 生命周期的每一個階段，涵蓋了從數據管理和模型訓練到部署和監控等環節。通過將 Arm 虛擬硬件與 MLOps 解決方案相結合，開發者可以更快地將嵌入式 ML 應用推向市場、降低成本并增強其可擴展性。

部署和保護知識產權

在數以百萬計的端側設備中部署和保護寶貴的知識產權，也是一項重大挑戰。ML 模型本質上是數學函數，任何有權訪問設備或數據流的人都可以提取和復制它。因此，設備和數據可能會被篡改、操控或惡意攻擊，從而導致其功能和可靠性受到損害。開發者必須確保其 ML 模型受到保護，不會輕易被逆向工程破解。

Arm 致力于幫助開發者在邊緣設備上部署 ML 模型并保障其安全，方法之一便是在 PSA Certified 提供的框架內操作。PSA Certified 是平臺安全架構 (PSA) 的縮寫，是 Arm 與合作伙伴為幫助保護物聯網設備而制定的最佳實踐和規范。經 PSA Certified 認證，用戶可以驗證和信任物聯網產品的安全性，并確保其符合相關法規和標準的要求。

嵌入式邊緣 AI

AI 和 ML 正在重新塑造嵌入式系統的發展面貌。

去年，我們與合作伙伴共同探討了應對嵌入式開發中一些常見挑戰的各種方法，例如：類似 Arm 虛擬硬件等的開發解決方案、新行業標準，或通過采用 Arm 架構以實現靈活性、高效率并最大限度地降低安全風險。

今年，我們將直面 AI 和 ML 在邊緣領域飛速創新的成果，并切身感受這些變化給 Arm 開發者生態系統帶來的影響。物聯網邊緣互聯設備日漸增多，數據量呈指數級增長，這為 AI 算法處理數據并實時提供洞察帶來了大量機遇。盡管生成式 AI 和大語言模型 (LLM) 備受矚目，但部署到邊緣物聯網設備（如：樹莓派）上的較小模型也開始嶄露頭角。Transformer 架構模型正在邊緣側掀起波瀾，因其固有的出色靈活性，使其與傳統的卷積神經網絡 (CNN) 區別開來。

變革的步伐之快令人驚嘆。Arm 非常高興能夠在支持高性能物聯網設備和系統實現 AI 方面發揮關鍵作用。Arm 的愿景是提供安全的智能設備和系統，進而推動創新并改善人們的生活。通過以下舉措，Arm 持續致力于幫助開發者應對挑戰：

通過優化高性能物聯網中部署 AI 的硬件和軟件，以實現性能、功耗、成本效益、安全性與可擴展性的優異平衡。

簡便易用的工具和平臺，讓高性能物聯網中的 AI 開發和部署變得更加容易，讓更多具有不同知識背景的開發者和系統搭建者都能根據自身需求構建和定制解決方案。

強大的生態系統支持和戰略合作伙伴關系，加速推動了在高性能物聯網中 AI 的普及并最大限度的發揮其效用，鼓勵各利益相關方和行業之間開展合作與共創。

這些是 Arm 實現物聯網邊緣 AI 愿景的重要支柱。我們堅信，就像拖拉機曾經大幅改變了農業和食物供應鏈一樣，邊緣 AI 也將轉變我們與物理世界的互動方式，開啟人類創新創造的嶄新篇章。