云天勵飛發布新一代邊緣AI芯片，采用Chiplet技術，可運行百億級大模型

電子發燒友網報道（文/李彎彎）近期，云天勵飛在高交會上重磅發布新一代AI芯片DeepEdge10。據介紹，DeepEdge10是國內首創國產14nm Chiplet大模型推理芯片，采用自主可控的國產工藝，內含國產RISC-V核，支持大模型推理部署。

云天勵飛新一代自研AI SoC DeepEdge10

大模型在邊緣運行對AI芯片提出新的要求

人工智能正在帶來史無前例的新一輪科技革命浪潮，以 ChatGPT 為代表的領域大模型在過去的一年多的時間內取得了很大進展，在對話生成、圖像生成、圖像分割、音樂生成等領域都展現了讓人驚嘆的效果，并迅速的在一些場景快速應用落地，例如網絡搜索、會議摘要、自動化編程、 自動化辦公軟件等等。

在另一方面，大模型的能力也迅速的從自然語言處理快速的向語音、圖像、 視頻等領域橫向擴展，多模態大模型的出現昭示著通用人工智能的時代即將來臨。

邊緣計算的場景呈現出算力碎片化、算法長尾化、產品非標化、規模碎片化等特征，傳統的算法開發和芯片都難以適應新一代人工智能邊緣計算場景的產品化需求。大模型的出現，為行業提供了算法層面的解決之道。但大模型在邊緣計算場景要面向實戰發揮作用，則需要AI大模型推理芯片的支持。

根據任務的不同，AI芯片可分為訓練芯片和推理芯片。訓練，即通過輸入大量數據來構建神經網絡模型，使之可以適應特定的功能。訓練芯片對算力、精度、通用性有較為苛刻的需求，需要能夠處理海量數據以及適應各種不同的學習任務；推理，即借助現有神經網絡進行運算，通過新輸入的數據來獲得推理結論。推理芯片對性能和精度的要求相對較低，更注重對成本、功耗、時延等指標的綜合考量。

云天勵飛董事長兼CEO陳寧對媒體表示，訓練不是目的，生產大模型不是目的，千行百業的落地和應用才是最終目的。不論是機器人、無人駕駛汽車智能傳感，還是各類智能硬件，甚至腦機接口芯片，都需要大模型的推理芯片。與訓練芯片相比，目前推理芯片市場還處于百家爭鳴的狀態。尤其在中國，已經開始考慮怎么基于國產工藝落地推理芯片，構建國產工藝推理芯片的生態。

對于AI芯片來說，當前備受關注的大模型，帶來了全新的計算范式和計算要求。云天勵飛副總裁李愛軍談到，芯片需要具備更大的算力、更大的內存帶寬、更大的內存容量，才能支持巨量參數的大模型在邊緣端運行。

云天勵飛新一代AI芯片可承載百億大模型運算

自2014年成立之初，云天勵飛就一直堅持自主研發芯片，沉淀“算法芯片化”的核心能力。陳寧指出，“算法芯片化”并不是簡單的“算法+芯片”，而是云天勵飛基于對場景的理解，以及對算法關鍵計算任務在應用場景中的量化分析，將芯片設計者的理念、思想與算法相融合的AI芯片設計流程，能夠讓AI芯片在實際應用中發揮更優的效果。

在算法芯片化核心能力的支持下，云天勵飛目前已完成3代指令集架構、4代神經網絡處理器架構的研發，且陸續商用。4年前，云天勵飛第一代AI芯片DeepEye1000實現獨立商用。

如今，大語言模型逐步向邊緣和終端滲透，云天勵飛聚焦構建邊緣推理芯片的自主可控生態，推出新一代邊緣AI推理芯片DeepEdge10。該芯片采用國內先進工藝、支持多芯粒擴展的 Chiplet技術，可提供12TOPS（INT8）整型計算和 2TFLOPS（FP16）浮點計算的深度學習推理計算算力，滿足市場對處理芯片在算法的多樣性、準確性、算力密度及效能方面的要求。

并且，配合DeepEdge10系列邊緣智能芯片的處理器架構和硬件架構升級，工具鏈和軟件棧也進行了相應的升級，滿足多種深度學習算法模型在復雜的應用場景下的部署需求。

云天勵飛EDGE10系列芯片

針對各類應用場景，云天勵飛已開發出Edge10C、Edge10 標準版和 Edge10Max三款芯片。 Edge10C采用 8 核 CPU、算力 8Tops，Edge10 標準版采用 10 核 CPU、算力 12Tops，兩者均應用于智慧安防、智慧城市和智能制造等邊緣計算推理領域。

Edge10Max 擁有 32 核 64 位通用處理器內核，單芯片可提供 50Tops 算力，32GB DDR 容量和 120BG/S 的內存帶寬，能高效支持 Transformer 模型中的矩陣乘法運算，主要應用于邊緣大模型推理領域。

目前 DeepEdge10 芯片主要的適配的合作伙伴包括攝像頭、邊緣計算設備、機器人、汽車智能座艙等行業的客戶。此外，依托DeeEdge10創新的D2Dchiplet架構打造的X5000推理卡，已適配并可承載SAMCV大模型、Llama2等百億級大模型運算。云天勵飛高管對媒體表示，下一代AI芯片將全面兼容多模態大模型，適配云天天書大模型的升級。



千億級、百億級大模型需要達到極強計算能力的同時，還能保持超低的功耗及成本，對芯片工藝要求高。

Chiplet是一種芯片模塊化設計方案，通過集成封裝等技術，能夠將不同工藝節點、不同功能、不同材質的芯片，如同搭積木一樣集成一個更大的系統級芯片。陳寧介紹說：“結合當前國內的生產工藝現狀，我們和合作伙伴一起在三年前聯合技術攻關，采用D2D Chiplet技術，定制了一系列的IP，以在14nm的工藝節點上，支持大模型的推理部署?！?br />
小結

總的來說，目前大模型正在向邊緣端滲透，而這對邊緣AI芯片提出新的要求，需要更高的算力、更大的內存帶寬及內存容量。云天勵飛率先通過Chiplet工藝實現在14nm下推出可以運行百億大模型的邊緣推理芯片，值得關注。