安霸推出基于CV72芯片的多模態大模型推理解決方案—Cooper Mini

生成式人工智能（Generative AI）的技術進步正在迅速改變許多行業的面貌。特別是大模型技術如 GPT 系列，已展現出改變游戲規則的能力，其全方位的強悍性能即將實現在多種產品中的廣泛應用。輕量化是大模型發展重要方向，生成式 AI 硬件“新物種”的誕生，標志著大模型技術向更加個性化和即時反應的前端解決方案的轉變，也預示著裝載大模型的產品即將全面普及于廣大人民群眾的生活中。

從云到邊緣：一場必要的轉變

盡管云端的 AI 解決方案提供了強大的計算能力，但它們在數據傳輸帶寬、網絡延遲、數據安全，以及最重要的用戶隱私方面存在著一些問題。比如傳統基于云的多模態大模型需要將用戶數據上傳到遠程服務器，這不僅可能引起隱私泄露的風險，還常常因為網絡帶寬和網絡通信延遲帶來的影響而減低產品的體驗質量。在這種背景下，邊緣計算提供了一種更為合理的替代方案。相比于云端大模型，大模型端側部署具備綜合成本低、隱私保護好、響應速度快，服務可靠性高，和個性化以及根據用戶需求定制化開發等差異化優勢，大模型正向前端設備遷移，從而重構千行百業，實現降本增效。

安霸 CV72芯片和Cooper Mini 的創新

在這一大背景下，安霸推出了基于 CV72 芯片的多模態大模型推理解決方案——Cooper Mini。這一解決方案是為邊緣計算環境量身定制的，特別適用于需要在設備上直接進行高級數據處理的應用。CV72 本是一顆可以單芯片支持完整 AI 攝像機的 SoC。使用 CV72 的 Cooper Mini 不僅硬件性能卓越，更搭載了全新的 Cooper 開發平臺，提供高度靈活、模塊化的軟硬件開發工具，極大地降低了開發者的門檻。它支持高達 30 億參數的視覺大模型推理，能夠處理多模態圖文匹配、文字驅動的圖像搜索及圖像驅動的圖像搜索，文字驅動的無類別檢測追蹤等復雜任務，為用戶提供豐富而精準的交互體驗。

5nm 制程的 CV72 芯片的設計采用了安霸第三代 CVflow 架構，全面支持 Transformer 和 LLM 的單芯片本地高速推理，并且兼顧了低功耗，大大減低了系統成本。除了具備強大的大模型本地推理能力，CV72 還擁有功能完備的圖像處理和視頻編碼能力。其內建 ISP 具備卓越圖像處理能力，以及 AI ISP 的強悍圖像處理能力，即使在極低光照下也能提供出色的高清圖像。其內建的高效率 H.265 視頻編碼器，可支持最高 8MP90 視頻編碼，適合各種攝像機搭配邊緣 AI 計算的場景，包括視頻會議、直播、機器人和安防監控等應用。

結論

安霸在 2024 年 CES 期間推出了基于 N1 的多模態大模型解決方案 Cooper Max，通過單顆 N1 芯片支持高達 340 億參數的多模態大模型推理。新推出的基于 CV72 的 Cooper Mini，則可實現低功耗系統單芯片高達 30 億參數的多模態大模型推理。

安霸正在逐漸豐富端側推理的路線圖，提供給市場更多更好的選擇。隨著生成式 AI 的不斷進步和邊緣計算技術的成熟，像 Cooper Mini 這樣的解決方案預示著未來智能設備的發展新方向之一。這些設備不僅能夠提供更個性化、更安全的用戶體驗，還將在各個行業中推動 AI 應用的廣泛落地。