<acronym id="s8ci2"><small id="s8ci2"></small></acronym>
<rt id="s8ci2"></rt><rt id="s8ci2"><optgroup id="s8ci2"></optgroup></rt>
<acronym id="s8ci2"></acronym>
<acronym id="s8ci2"><center id="s8ci2"></center></acronym>
0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

實測NPU“空轉”,AI PC首個落地應用只調用GPU?

Hobby觀察 ? 來源:電子發燒友 ? 作者:梁浩斌 ? 2024-05-22 00:16 ? 次閱讀

電子發燒友網報道(文/梁浩斌)去年開始,整個PC產業鏈,自上而下地都在為AI PC造勢。從處理器端的英特爾、AMD、高通等開始,到下游終端廠商,宣傳上清一色的AI PC概念。

從概念上看,硬件上AI PC的一大特征是在傳統PC的CPU+GPU基礎上,增加NPU加強AI 算力。不過有意思的是,最近某品牌PC機型上的AI助手率先落地,支持云端和本地運算兩種模式,確實能夠完成宣傳上的很多功能。然而在實測本地大模型時,卻沒有調用NPU算力,完全是使用GPU進行運算。

所以實際上,NPU目前為止依然是“空轉”的狀態,過去的“傳統”PC,理論上似乎也能夠使用“AI PC”上的最新功能。那么AI PC中NPU還是一個必要存在嗎?

AI PC發展的三個階段

確實,GPU在AI大模型上有很強的適配性,一直以來,很多開源大模型都能夠在家用電腦上部署,利用GPU的算力進行推理。在AI PC的大模型剛剛落地時,使用GPU算力是最為穩妥以及最快的方式。

此前聯想集團副總裁張華在發布會上提到,成熟的AI PC需要包括五大條件。其中包括標配CPU+GPU+NPU的本地混合AI算力;內嵌由本地大模型和個性化本地知識庫構成的個人大模型;配備本地化個人數據和隱私保護方案;開放的AI 應用生態;內嵌個人Agent(模擬人類行為或指揮的AI程序),多模態自然語言成為主要的交互方式。

他還認為AI PC會有三個發展階段,第一階段是從2023年12月到2024年4月,這個階段被稱為“AI Ready”階段,這個階段特點是硬件平臺的支持CPU+GPU+NPU的混合AI算力,滿足終端廠商和第三方應用開發者進行終端AI體驗創新。說白了,就是硬件要滿足AI需求,軟件先畫餅。

第二階段是2024年4月到2024年9月的AI Explore階段。在這個階段中,AI Ready的硬件,能夠用上個人Agent、個人大模型嵌入AIPC、首批第三方AI應用接入AI小程序平臺等,并能夠運用CPU+GPU+NPU的混合AI算力,提供基于自然語言交互的個人AI助理服務。

第三階段是24年9月之后的AI Master/AI Advanced階段。在這個階段,首先硬件的混合AI算力持續提升,同時個人大模型的能力進一步提升,AI應用生態大為豐富、商業模式進一步多樣化,個人Agent的場景服務范圍進一步擴大、服務體驗進一步升級,個人AI助理進入隨用戶使用和體驗反饋而快速進階之路。

所以,AI PC新增的NPU,只是混合算力中的一部分。從算力來看,NPU可以算得上是“戰未來”的硬件,而實際AI能夠帶來哪些顛覆性的體驗,才是AI PC的關鍵。

AI PC有哪些應用了?

目前的AI大模型,普遍是采用云端推理,這很大程度上是由于大模型數據體量巨大,無法部署在本地。而AI PC的概念中,本地大模型就是與目前常見的云端大模型有很大差異的地方。

從個人隱私的角度來看,本地大模型由于數據不上云,所以數據安全性更高,對于一些有保密需求的工作來說可以說是提高工作效率的剛需。

比如用戶可以通過本地大模型,讀取本地文檔,并使用自然語言交互來快速找到文檔中所需的信息。還可以通過自然語言交互,來完成修改電腦設置等操作,降低Windows操作系統使用門檻,畢竟很多選項都藏得比較深。

另外,還可以通過上傳足夠多的文檔,構建一個自己的數據庫,需要搜索資料或數據時,就可以通過本地的AI助手快速搜索到目標。

最近微軟的發布會上,又推出了一個“Copilot+ PC”概念,核心是AI算力+AI Agent( Copilot )。

在微軟的展示中,任何東西都能夠往Copilot上拖動,并讓其分析、總結。當然,AI圖片編輯、生成等功能已經是AI大模型的標配了,而微軟為windows加入的AI賦能功能中,還有可以稱之為“殺手锏”的。

比如AI能夠實時讀取屏幕顯示的所有信息,比如在玩游戲時,可以直接詢問AI來獲得攻略,AI甚至能理解游戲中的參數、物品等,從而給出相應的策略。

Recall則是令電腦擁有了類似于“時光機”的能力,AI能力的幫助下,Copilot+ PC可以訪問電腦上任何看過或者運行過的操作,甚至可以憑借記憶,描述在某個網站上見過圖片,AI就能夠幫助找出相應的頁面截圖。而這是基于本地算力以及存儲所實現的,能夠保障用戶隱私。

小結:

AI PC的概念雖然值得考究,但AI的應用要落地在PC上,硬件和軟件都無法單獨拿出來討論,AI應用與硬件的結合隨著需求提高只會越來越緊密。這樣的情況下,NPU的存在形式,發展方向,以及應用的適配,未來將會有更多的可能性。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • gpu
    gpu
    +關注

    關注

    27

    文章

    4489

    瀏覽量

    127349
  • NPU
    NPU
    +關注

    關注

    2

    文章

    226

    瀏覽量

    18191
  • AI大模型
    +關注

    關注

    0

    文章

    253

    瀏覽量

    149
  • AI PC
    +關注

    關注

    0

    文章

    105

    瀏覽量

    66
收藏 人收藏

    評論

    相關推薦

    AI算力GPU開始騰飛,背后是電源管理的持續支持

    AI PC元年。 ? 不僅是AI PC,還包括AI服務器、AI手機、
    的頭像 發表于 03-30 00:12 ?3361次閱讀
    <b class='flag-5'>AI</b>算力<b class='flag-5'>GPU</b>開始騰飛,背后是電源管理的持續支持

    AI PC的終極形態?Copilot取代windows鍵,NPU 成標配

    電子發燒友網報道(文/李彎彎)近幾個月來,英特爾、微軟、高通、AMD等都在積極推進AI PC概念,這意味著未來PC將會集成更多AI功能。市場調研機構認為,2024年將是
    的頭像 發表于 03-28 09:08 ?3546次閱讀
    <b class='flag-5'>AI</b> <b class='flag-5'>PC</b>的終極形態?Copilot取代windows鍵,<b class='flag-5'>NPU</b> 成標配

    微軟設AI PC標準:NPU性能須達40 TOPS

    Tom’s Hardware報道稱,微軟正積極打造AI PC行業標準。首要條件為AI PC需能本地運行Copilot。據悉,現今用戶借助Copilot服務,數據先上傳至服務器,經處理后
    的頭像 發表于 03-28 15:40 ?326次閱讀

    英特爾發布AI PC加速計劃,確立AI PC新標準

    同時,英特爾也自定了更為簡化的AI PC定義,即CPU、GPUNPU均應具備專屬AI加速能力,這恰恰反映了其最新力作Meteor Lake
    的頭像 發表于 03-27 10:10 ?203次閱讀

    AI PC需求推動內存升級,64GB內存將開始出貨

    隨著人工智能技術突飛猛進,AI PC將成為個人電腦發展新趨勢,用戶們可在本地進行深度的人工智能計算,不再依賴于云端服務。這無疑對PC的硬件性能有著更為嚴格的要求。目前各大CPU企業已針對AI
    的頭像 發表于 03-21 11:35 ?198次閱讀

    高通NPU和異構計算提升生成式AI性能?

    異構計算的重要性不可忽視。根據生成式AI的獨特需求和計算負擔,需要配備不同的處理器,如專注于AI工作負載的定制設計的NPU、CPU和GPU。
    的頭像 發表于 03-06 14:15 ?340次閱讀

    簡單三步在Windows上調用低功耗NPU部署AI模型

    相信很多小伙伴都已經知道,在最新一代的英特爾 酷睿 Ultra 移動端處理中已經集成了被稱為 NPU 的神經網絡加速處理器,以提供低功耗的 AI 算力,特別適合于 PC 端需要長時間穩定運行的
    的頭像 發表于 02-22 17:17 ?1365次閱讀
    簡單三步在Windows上<b class='flag-5'>調用</b>低功耗<b class='flag-5'>NPU</b>部署<b class='flag-5'>AI</b>模型

    預計2024年全球AI服務器將達160萬臺,AI PC逐步普及

    TSRC分析認為,AI PC商業化主要受到兩大因素驅動。首先,終端應用的需求起著重要作用。微軟將AI功能融入Windows和Office等知名軟件中,促使AI
    的頭像 發表于 01-18 10:29 ?464次閱讀

    2024年全球AI服務器或超160萬臺,AI PC有望2025年普及

    在推動AIPC商業化落地方面,集邦咨詢認為存在兩種主要動力:首先,終端應用需求在微軟Windows系統、Office軟件等產品中實現了AI功能融合,這有助于推廣AIPC的應用。其次,英特爾憑借AIPC推崇CPU+GPU+NPU
    的頭像 發表于 01-18 10:06 ?449次閱讀

    Orange Pi 5 Plus實測:RK3588?NPU執行AI應用的效能如何?

    還包括了一個6TOPS算力的NPU,支持TensorFlow、PyTorch等常見框架轉換,使其能夠作為處理AI影像的邊緣裝置。開發板上的周邊也相當豐富,包含2Po
    的頭像 發表于 12-21 17:58 ?1019次閱讀
    Orange Pi 5 Plus<b class='flag-5'>實測</b>:RK3588?<b class='flag-5'>NPU</b>執行<b class='flag-5'>AI</b>應用的效能如何?

    2024年將開啟AI PC規模出貨元年,全球PC邁入AI新時代!

    電子發燒友網報道(文/李彎彎)AI PC是一種集成了AI技術的個人電腦。它通過集成NPU、CPU、GPU等硬件,在實現高能、低耗的同時從根本
    的頭像 發表于 12-02 01:14 ?2143次閱讀

    KUKA機器人的”Dry run空轉”概念

    KUKA機器人的”Dry run空轉”概念. 空轉如果自動運行中程序運行中斷,并且機器人離開程序編定的軌道,則將進行空轉。 如果在子程序中導致空轉,則只在該子程序中執行
    的頭像 發表于 09-10 10:44 ?1173次閱讀
    KUKA機器人的”Dry run<b class='flag-5'>空轉</b>”概念

    cpu gpu npu的區別 NPUGPU哪個好?gpu是什么意思?

    cpu gpu npu的區別 NPUGPU哪個好?gpu是什么意思? 在當今數字化和人工智能的時代,高效的計算能力是現代技術發展的重要基礎
    的頭像 發表于 08-27 17:03 ?9086次閱讀

    npu是什么意思?npu芯片是什么意思?npu到底有什么用?

    。正如CPU和GPU一樣,NPU也是一種專門的處理器芯片,但不同于前二者,NPU被用于深度學習領域。NPU在深度學習領域的應用可以提高運算速度,降低功耗,加速推理流程等。
    的頭像 發表于 08-27 17:03 ?3.4w次閱讀

    阿里平頭哥發布首個 RISC-V AI 軟硬全棧平臺

    轉自https://m.ithome.com/html/714391.htm 2023 RISC-V 中國峰會8月23日在北京召開,平頭哥在會上發布了首個自研 RISC-V AI 平臺。 據介紹,該
    發表于 08-26 14:14
    亚洲欧美日韩精品久久_久久精品AⅤ无码中文_日本中文字幕有码在线播放_亚洲视频高清不卡在线观看
    <acronym id="s8ci2"><small id="s8ci2"></small></acronym>
    <rt id="s8ci2"></rt><rt id="s8ci2"><optgroup id="s8ci2"></optgroup></rt>
    <acronym id="s8ci2"></acronym>
    <acronym id="s8ci2"><center id="s8ci2"></center></acronym>