移動設備部署機器學習，Arm談如何賦能移動AI

如今生成式AI帶火了整個AI產業，尤其是各大廠商扎堆于大模型的AI訓練，不過很多AI應用的落地則在邊緣端。換句話說，移動設備的AI如何實現，是非常關鍵的問題。Arm前不久推出了全新的2023 全面計算解決方案 (TCS23)持續引領這樣的應用趨勢。在最近，Arm高級副總裁兼終端事業部總經理Chris Bergey接受媒體采訪，分享了Arm對移動AI發展的看法以及Arm如何賦能等話題。

Arm成立于1990年，是由Acorn Computers、蘋果和VLSI Technology這三家公司共同成立的一家合資企業，從一開始就聚焦于高能效的計算，致力于未來的移動發展和演進，最早采用Arm技術的是 Apple Newton，自此移動已經發生了翻天覆地的變化，這也使得Arm架構成為當今全球應用最廣泛的移動計算平臺基礎架構。

今天，全球已有 70% 的人群正使用基于Arm架構的產品和服務。 迄今為止，Arm的合作伙伴已經交付了超過 2500 億顆基于 Arm架構的芯片。

TCS23助力移動AI克服應用挑戰

在Arm 2023全面計算解決方案(TCS23)中，全新Armv9 Cortex計算集群已連續三年實現兩位數的性能提升。其中，新的 Cortex-X4 是第四代 Cortex-X 內核，是 Arm迄今為止打造的最快速的 CPU，與 Cortex-X3 相比，其性能提高 15%，基于相同工藝的全新高能效微架構可降低功耗達 40%。

在我們此前的報道中也介紹過，TCS23方案在GPU、總線、DSU等都實現了性能和能效的大幅提升。值得一提的是，正是因為全面計算性能的提升，才能夠更好地支持移動設備的AI應用，實際上很多AI的運算都需要CPU或者GPU的配合才可以更好地實現。

在談到移動AI體驗需要克服哪些挑戰時，Chris Bergey分析說主要有三方面。即如何實現高能效計算，內存帶寬以及如何高效支持AI 的軟件棧。在過去的兩年，Arm處理器和 GPU 的性能提升讓 AI處理能力翻了一番，這主要是通過對 AI 專用的數據集的指令優化與支持。



在內存帶寬方面，Arm大幅增加了在支持架構中的緩存大小，并且通過縮小芯片的面積來減少延遲、強化互聯。

多年來，Arm傾力打造了繁榮的軟件生態系統，基于 Arm 架構、為Arm 架構應用進行開發的開發者已達到1500萬名。通過持續與行業領先廠商，比如，谷歌、騰訊等公司進行合作，共同賦能高效的技術庫，藉由開源形式，讓這些軟件技術庫能觸及更廣泛的生態系統，特別是國內垂直領域的一些公司，可以獲得收益。這一生態系統為更廣泛的社區提供平臺，可以通過基于Arm 的硬件一起打造AI 解決方案。

移動設備部署機器學習越來越廣泛

手機上部署的機器學習往往應用于AI邊緣推理，比如手機的面部識別、圖像增強、濾鏡、AR 等等，都是AI 推理應用在終端上的體現。正如Chris Bergey所言，一些大型的模型訓練會在云端進行，但是出于功率、隱私保護和延遲等多方面的考量，更多的AI 應用和訓練都將在數據存在之處進行，也就是傳感器獲取數據的地方。



AI 和傳感器結合可以發揮非常強大的作用。例如，攝像頭+AI通過觀察用戶走路或者說話的行為在早期預判未來可能出現的疾病。

再比如，從智能手機（Google Pixel 7的實時字幕、虛擬助手）到家用自動化設備，包括AmazonEcho的語音助手、集成 AI 功能的冰箱等，既能實現智能化，又可達到節能目標，另外還有應用于智慧城市的交通管理，可以減少交通擁堵，讓整個城市更加安全，降低更多能耗。

與中國廠商保持生態系統的共建

Chris Bergey認為，隨著處理器性能的越發提升，更多類似的應用會應運而生，而中國則是產生下一代應用最具有創新性的地方。因此Arm一直與中國的生態系統保持緊密的合作。

據介紹，在人才培養方面，Arm與很多大學以及行業、合作伙伴主導的一些產業聯盟等機構合作，開展了很多人才聯合培養的項目，比如2023 年的AICAS 挑戰賽、開源之夏、百度飛槳黑客松。

Arm還參與了很多本地的開源社區和項目，比如TARS 項目和龍蜥社區 (OpenAnolis)等，通過自身參與全球開源社區的專業知識，推動本土的生態系統。

此外，還將一些全球的技術進行本地化，讓中國的生態系統更易于采用。比如把Arm虛擬硬件(Arm Virtual Hardware, AVH)整合到百度飛槳的PaddlePaddle模型中。

Arm不斷賦能本地的創新能力。就在MWC上海展期間，Arm宣布與聯想合作成立在中國第一個5G 解決方案實驗室；并與本土電信運營商等生態系統合作伙伴一起開展 PoC 項目。

小結：

作為全球領先的IP提供商，Arm已經看到智能計算在邊緣端勢不可擋的應用趨勢，Arm 2023全面計算解決方案(TCS23)已經前瞻性地以高性能助推AI應用的普及，令更多AI 的應用成功高效運行在Arm架構之上。