AI終端時代：端側算力快速提升，AI芯片競爭進入新的階段

電子發燒友網報道（文/莫婷婷）全球終端市場在經歷了高峰之后，在2022年、2023年出現明顯的終端市場下滑。進入2024年，全球終端市場又迎來了小幅反彈，AI技術的加持是市場反彈的動力之一。毫不夸張地說，是AI重新點燃了終端市場。

2023年被認為是AI終端的元年，那么進入2024年，AI終端市場會迎來哪些發展機會，上游的芯片環節，AI芯片有哪些最新解決方案。

AI終端成為交互入口，首款AI PC個人智能體已經面世

為什么AI算力會轉移到終端側？IDC中國及全球副總裁王吉平提到了四大方面的原因。

一是芯片廠商技術革命，未來是在混合算力的基礎上，端側算力未來會快速提升。二是模型正在不斷演變，例如混合專家模型（MoE）正受到業內人士的關注。三是人們越來越關注安全性，端側模型對于個人安全隱私，以及端之間互聯互通的安全性有很好地保護。四是大模型開始垂直化整合，垂直領域端+小模型的需求也在提升，王吉平認為小模型和小終端之間也可以非常完美地匹配。

目前，在終端產品中，PC、智能家居、車載設備、智能手機、智能手表、耳機，甚至是AR/VR等設備都能得到AI技術的加持。

可以預測到，隨著場景化發展，不同場景下的終端分工更加細致和專業，AI技術將加速終端未來十年新一輪的融合。

目前，手機廠商已經打造了各自的AI大模型，將其賦能至智能手機中，例如華為小藝語音助手用到了盤古大模型，小米小愛同學用的是小米AI大模型MiLM-6B等等。

在AI PC方面，已經從普通的AI PC走向了AI PC智能體，例如聯想于4月18日發布的業內首款AI PC個人智能體——聯想小天，具備文生圖的功能，還能實現圖像訓練和深度編輯。
在AI機器人方面，傳音旗下創新科技品牌TECNO在MWC24上，展示了公司首款AI增強型仿生四足機器人Dynamic 1，能夠用于智能助手、教育培訓等場景。

AI終端在發展過程中，大模型（LLM）向智能體（Agent）轉變，最終形成一個完整的閉環。那么，未來AI終端會朝著哪些方向發展呢？業內人士普遍認為，未來AI終端將成為個人AI助理，IDC認為將具備以下五大特征：

一是成為第一交互入口。此外，當國內的推理芯片搭載在各個終端后，會形成國內生態的智能體應用于各個行業中。二是終端將標配本地混合AI算力，例如CPU/NPU/GPU等；隨之，形成個人終端和個人邊緣協同計算結構。三是終端內嵌個人大模型，形成個性化本地知識庫。四是必須會有個人數據和隱私安全保護。五是有一個連接開放的AI應用生態，同時它要開發API接口。



AI芯片進入新的競爭階段，英偉達、英特爾、高通攻克推理性能
在技術底層，AI終端的發展離不開AI芯片。隨著AI大模型在終端進行規?；瘮U張，部署端側算力顯得尤為重要。英特爾CEO帕特·基辛格曾表示在人工智能領域，推理技術變得越來越重要，甚至比訓練還更加重要。

IDC中國及全球副總裁王吉平也預測了大語言模型端側芯片的發展趨勢，他認為XPU模式會推動端側模型推理能力明顯提升。

目前，在AI芯片領域，英偉達、英特爾、AMD等是國際主流玩家。在近兩年，國內的推理芯片廠商也逐漸進入業內視野中，例如阿里平頭哥、寒武紀、燧原科技、云天勵飛等，隨著技術的迭代，上述國產芯片廠商的AI芯片性能也在不斷提升。

AI芯片領域的競爭進入了新的階段。目前，英特爾、英偉達、高通都推出了各自面向AI推理的芯片。

就在美國時間4月9日，英特爾發布了新一代AI芯片Gaudi 3，可對標英偉達H100。Gaudi 3采用5nm工藝制造，具有64個第五代張量處理核心、8個矩陣計算引擎，24個200 Gbps以太網 RDMA NIC，以太網的通用標準能連接數萬個加速器，最高 16 條 PCIe 5.0 總線。與Gaudi 2相比，Gaudi 3的FP8吞吐量達到1835 TFLOPS，BF16性能提升四倍，網絡帶寬提升兩倍，內存帶寬提升1.5倍。

英偉達H100芯片是在2023年發布的產品，采用4nm工藝，搭載了最新Hopper架構，集成Transformer引擎、第四代TensorCore、第四代張量內核等技術。支持PCle Gen5和利用HBM3，憶體頻寬達到3TB/s，FP8 算力與A100相比提升了3倍，達4000TFLOPS。

在今年3月的英偉達GTC人工智能大會，英偉達還發布了Blackwell B200 GPU，有著2080億個晶體管，H100的FP4性能為4 petaflops，而B200 能提供高達20 petaflops FP4的算力。兩個B200與單個英偉達Grace CPU相連，打造出GB200 Grace Blackwell超級芯片。

在AI芯片新的競爭階段，廠商都更加重視芯片的推理能力，從英特爾和英偉達的新品正好說明了這一點。英特爾Gaudi系列面向AI應用場景，其推理能力也在不斷提升，Gaudi 3的模型訓練速度提升40%，推理速度則提升50%。

英偉達介紹，H100采用了新的Transformer Engine專門用于加速Transformer 模型的訓練和推理，在進行語言模型的訓練和推理時，訓練速度是A100的9倍，推理速度是A100的30倍。Blackwell GPU更是能提供30倍的推理性能，AI訓練和大模型實時推理的規模擴展到10萬億參數。

高通也在2023年10月發布驍龍 X Elite，這是一款面向 Windows 11 PC 的旗艦 PC 芯片，集成了Oryon?CPU、Adreno?GPU、Hexagon?NPU，支持在端側運行超過 130 億參數的生成式 AI 模型。

在當時的發布會上，高通透露搭載驍龍 X Elite 芯片的筆記本電腦在今年中期面世。近期已有消息顯示，聯想 YOGA Slim 7 14 2024 驍龍版，以及一款命名為ThinkPad T14s Gen 6 驍龍版的筆記本或將搭載高通驍龍X Elite 芯片。高通驍龍X Elite 芯片會給聯想AI PC帶來哪些AI性能，值得期待。

而英偉達的H100已經應用在其超級計算機Eos中，總共搭載了4608個H100 GPU，還有1,152個英特爾至強Platinum 8480C處理器。Eos被認為是英偉達速度最快的人工智能超級計算機，可用于人工智能和高性能計算工作負載。

每一代AI芯片的推出，都有它各自的應用定位。從終端市場來看，AI技術已經從手機、PC滲透進更多終端產品，未來會走向高性能PC、工作站等，不管是面向TO C，還是TO B的行業場景（服務業、制造業等），所需要的算力將隨著應用需求逐步提升，也會提高推理芯片的要求。未來推理芯片在AI終端會迎來怎么樣的發展，又會提升哪些應用體驗，值得期待。