聯發科年底將推出新一代旗艦SOC，加速生成式AI終端部署

電子發燒友網報道（文/李彎彎）近日，聯發科宣布將運用Meta最新的大型語言模型Llama 2及自家的人工智能處理單元（APU）和完整的AI開發平臺（NeuroPilot），建立完整的終端運算生態系統，賦能終端設備生成式AI應用。

將生成式AI部署在終端設備上

目前大部分生成式AI都是通過云端運算進行，而聯發科的目標是將其部署在終端設備上。聯發科表示，今年年底將推出新一代旗艦 SoC，將采用針對Llama 2模型而優化的軟件棧（NeuroPilot），與搭配支持Transformer模型做骨干網絡加速的升級版AI處理器（APU），可減少動態隨機存取內存（DRAM）的讀寫消耗和帶寬占用，進一步強化大語言模型和生成式AI應用的性能，助力開發者打造令人驚艷的AI應用，加速終端設備AI應用落地發展。

Llama 2由Meta的研究部門Meta AI開發，是建立在Meta之前的開源大型語言模型Llama之上，Llama于今年 2 月發布。Llama使用Meta的PyTorch框架在公開可用的在線數據源上進行了預訓練。然而，Llama擁有非商業許可證，僅適用于具有一定資格的學者。

之后，Meta發布了帶有商業許可證的Llama 2，允許任何人將其用于研究和商業目的。Llama 2參數范圍從70億到700億，使用2萬億個token在線數據進行預訓練，是Llama的兩倍。Meta Llama 2具有更豐富的上下文窗口，包含4,096個標記，是Llama上下文窗口大小的兩倍。

Meta Llama 2對超過100萬條人工注釋進行了微調，這些注釋是從各種來源收集的，例如公開可用的指令數據集和Meta自己的眾包平臺。經過微調的模型Llama-2-chat針對對話應用程序進行了優化，可以生成流暢且更為準確的響應。

NeuroPilot是聯發科為開發者提供的基于本地端側的AI運算解決方案，它為內建CPU、GPU 和 APU（獨立AI 處理器）等異構運算單元的MediaTek SoC平臺提供完整且強大的軟件解決方案。

NeuroPilot支持開發者在現有和未來的聯發科硬件平臺以及包括智能手機、汽車、智能家居、物聯網等產品線實現“一次編寫，全場景通用”，幫助開發者在MediaTek平臺上高效開發和部署基于神經網絡模型的AI應用程序。

AI開發者可以使用主流的TensorFlow、Pytorch、TF Lite、Caffe、Caffe2以及其他自定義的第三方通用AI框架來構建神經網絡模型，并接入到NeuroPilot系統，充分發揮聯發科AI系統的強勁算力，顯著提高模型運行在設備上的效率，并降低功耗和內存消耗。

在設備端部署生成式AI有諸多好處：1、減少延遲；2、提高數據私密性，將數據保存在設備上，數據就不會通過數據中心傳輸；3、提高帶寬效率，如今，生成式人工智能任務需要將用戶對話中的所有數據來回傳輸到數據中心。而通過本地化處理，大量數據將在設備上完成；4、提高運行彈性，通過在設備上生成，即使網絡中斷，系統也能繼續運行；5、提高能源效率等。

聯發科積極投入到人工智能領域布局中

過去一年多時間，由于消費電子等市場需求疲軟，聯發科的業績也受到較大影響，在今年4月28日，聯發科執行長蔡力行在財報電話會議上表示，將會迅速將資源轉移到汽車和人工智能芯片領域，預計這些領域將在未來3到5年內提供增長。

可以看到，聯發科對人工智能領域的重視，尤其是當前，生成式AI正在以空前的速度發展，它已經成為新一代科技和產業變革的核心動力。Bloomberg Intelligence報告指出，未來10年內，生成式AI市場規模將從2022年的400億美元，增長至2032年的1.3萬億美元，年復合增速有望達到42%。

這對于聯發科來說是極好的機會，除了上文提到，聯發科宣布運用Meta LIama 2大語言模型和聯發科先進的AI處理器（APU）以及完整的AI開發平臺（NeuroPilot），建立完整的終端側AI計算生態，賦能終端設備生成式AI應用之外，前段時間，聯發科還宣布聯合百度發起飛槳和文心大模型硬件生態共創計劃，共同推進聯發科硬件平臺與飛槳和文心大模型適配。

目前雙方正在合作優化文心大模型在終端設備上的執行效果，將實現大模型在終端和云端的協同工作，為用戶帶來突破性的生成式 AI 應用體驗。

作為推動AI進一步發展的先進技術，與單純在云端部署生成式AI應用和服務相比，終端側部署生成式AI在節約服務器成本、保護用戶信息安全、提升實時性和實現個性化用戶體驗等方面具備明顯優勢。

雙方的合作將支持基于聯發科芯片的智能手機、汽車、智能家居、物聯網等終端設備上運行文心大模型，賦能終端設備提供更安全、可靠和差異化的使用體驗。

小結

當前，生成式AI正在快速發展，它已經成為新一代科技和產業變革的核心動力。目前生成式人工智能多還是通過云端運算進行，而眾多手機廠商，包括三星、華為、蘋果，SOC廠商高通、聯發科等都在積極探索，將生成式AI部署在終端設備上。在眾多廠商的努力下，更好用的生成式AI值得期待。