<acronym id="s8ci2"><small id="s8ci2"></small></acronym>
<rt id="s8ci2"></rt><rt id="s8ci2"><optgroup id="s8ci2"></optgroup></rt>
<acronym id="s8ci2"></acronym>
<acronym id="s8ci2"><center id="s8ci2"></center></acronym>
0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

智能算力規模超通用算力,大模型對智能算力提出高要求

Carol Li ? 來源:電子發燒友網 ? 作者:李彎彎 ? 2024-02-06 00:08 ? 次閱讀

電子發燒友網報道(文/李彎彎)算力是設備通過處理數據,實現特定結果輸出的計算能力,常用FLOPS作為計量單位。FLOPS是Floating-point Operations Per Second的縮寫,即每秒所能夠進行的浮點運算數目(每秒浮點運算量)。

算力可以分為通用算力、智能算力和超算算力。早前通用算力占整體算力的比重達到90%以上,近些年隨著人工智能技術的發展,智能算力規模迅速增長。從需求層面看,2022年,中國智能算力規模為268百億億次/秒(EFLOPS),已經超過通用算力規模。

大模型對智能算力提出更高要求

通用算力、智能算力和超算算力三者的區別在于,通用算力,由基于CPU芯片的服務器提供算力,主要用于基礎通用計算。日常提到的云計算、邊緣計算等都屬于基礎算力,它為移動計算、物聯網等提供計算支持。

智能算力,由基于GPU、FPGA、ASICAI芯片的加速計算平臺提供的算力,主要用于人工智能的訓練和推理計算,比如語音、圖像和視頻的處理。在技術架構上,人工智能的核心計算能力由訓練、推理等專用計算芯片提供,注重單精度、半精度等多樣化計算能力。

超算算力,由超級計算機等高性能計算集群提供算力,主要用于尖端科學領域的計算,比如行星模擬、藥物分子設計、基因分析等。在技術架構上,超算的核心計算能力由高性能CPU或協處理器提供,注重雙精度通用計算能力,追求精確的數值計算。

2023年以來大模型迅猛發展,更是讓智算中心成為發展的重點。當然,相比于之前,大模型對智算中心也提出更高要求。首先是隨著大模型規模的不斷擴大,對計算資源的需求不斷增加,智算中心需要提供更強大的計算能力來支持大模型的訓練和推理任務。

其次是大模型需要大量的存儲空間來存儲參數、權重和中間結果,智算中心需要提供高效的存儲系統。第三是大模型的訓練和推理過程中會產生大量的數據,需要進行頻繁的數據傳輸和通信,智算中心需要具備高速的網絡連接和大規模的數據傳輸能力。

第四則是大模型的訓練和推理過程需要大量的計算資源,導致能源消耗的增加,智算中心需要采取節能措施,如使用高效的硬件設備和優化算法,以降低能源消耗。另外還有,大模型的訓練和推理過程需要進行復雜的模型管理和調度,包括模型版本控制、并行訓練和推理等,智算中心需要提供相應的管理和調度工具來支持這些任務。

各地和企業建設智算中心支持大模型

對于各地方和企業來說,建設能夠支持大模型的智算中心已經成為當下的重點。近日,上海電信聯合徐匯區政府共同舉辦“算力惠模都 萬兆連速城”人工智能公共算力服務產品發布會,消息稱,2024年上半年,中國電信將在上海規劃建設到達15000卡,總算力超4500P。其中,單池新建國產算力達萬卡,是國內首個超大規模國產算力液冷集群。

據介紹,該集群采用新一代國產AI算力,實現了全棧自主創新和技術突破,通過高速RDMA(遠程直接數據存?。┻B接各物理機節點,提供低延時、高吞吐量、無損通信網絡和強大的并行計算能力,是目前規模最大的全國產液冷機房,多項技術指標領跑全國。

該集群最高可支持萬億參數大模型,便于各科研院校、大模型訓練公司等機構和企業實現物理資源獨享,無虛擬化損耗,滿足AI計算、深度學習、圖形渲染等復雜訓練任務對算力的要求。

早前廣州海珠區和中國電信廣州分公司也攜手揭牌了粵港澳大灣區首個服務大模型的智算中心。該智算中心搭載華為最新一代高端算力芯片昇騰910B,昇騰910B在大模型訓練場景性能和A100持平,可提供全流程工具輔助大模型遷移。

中國電信廣州分公司云技術總監時瑞表示,目前各種個性化推薦算法都需要調用智算,包括人臉識別、汽車自動駕駛等各種場景。他介紹,中心目前建成算力100P,計劃兩年內擴展到300P。海珠區相關負責人表示,該智算中心定位服務大模型,主要服務于廣州市人工智能與數字經濟試驗區至粵港澳大灣區大模型研發運用。

寫在最后

隨著人工智能技術發展,智能算力的規模已經超過通用算力。近年來,大模型迅猛發展,使得智能算力市場需求會越來越大,同時大模型也給智能算力提出更高要求。為了抓住大模型發展帶來的產業機會,各地及企業都在積極建設智算中心來支持大模型訓練部署。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 算力
    +關注

    關注

    1

    文章

    675

    瀏覽量

    14390
  • 大模型
    +關注

    關注

    2

    文章

    1627

    瀏覽量

    1242
收藏 人收藏

    評論

    相關推薦

    能RADXA微服務器試用體驗】Radxa Fogwise 1684X Mini 規格

    通過網絡可以了解到,能RADXA微服務器的具體規格: 處理器:BM1684X :高達32Tops INT8峰值 內存:16GB L
    發表于 02-28 11:21

    國資委發文鼓勵、Sora開年爆火…智中心的2024注定熱辣滾燙?

    中心Sora
    腦極體
    發布于 :2024年02月27日 16:11:19

    iBeLink KS MAX 10.5T大領跑KAS新領域

    —KHeavyHash。在市場上,有一款挖掘機可以滿足這個要求,那就是iBeLink ks max 10.5T。 iBeLink ks max 10.5T是一款專為Kaspa挖掘而設計的挖掘機,它的
    發表于 02-20 16:11

    請問用強大的SOC來控制汽車是不是能夠大幅減少MCU的使用數量?

    來自一位用戶的咨詢,麻煩幫忙解答,越詳細越好,有圖有真相,可以適當提供一些英飛凌解決方案和產品推薦。 用強大的SOC來控制汽車是不是能夠大幅減少MCU的使用數量? 未來電動汽車會使用SOC來代替大量MCU?
    發表于 02-02 07:16

    大茉莉X16-P,5800M大稱王稱霸

    Rykj365
    發布于 :2024年01月25日 14:54:52

    線速度怎么?

    怎么? 公式:線速度=轉速*周長 這里有個兩個問題, 1,這周長是哪個的周長?? 2,大輥軸的轉速是不是等于減速機??還要不要再做一個200:45的減速比?
    發表于 11-13 07:44

    c語言時間for延時,怎么時間?

    c語言時間 for延時,怎么時間?for(i=;;)
    發表于 10-08 07:46

    英碼科技精彩亮相火爆的IOTE 2023,多面賦能AIoT產業發展!

    產品,包括覆蓋多層次智能工作站(邊緣計算盒子)、AI加速卡等;同時向大家展示自研的AI技術服務——“深元”0代碼移植工具鏈和創新性的行業解決方案,賦能更多AIoT產業生態企業快速具備AI能力
    發表于 09-25 10:03

    C語言定時器如何時間?

    C語言定時器如何時間,比如我要定時一個定時要怎么寫,請大神指導一下。
    發表于 09-25 08:16

    BM1684架構介紹

    * 16 * 16(INT8 MAC) * 2 * 0 55G / 1024 = 17.6 TOPS 如果enable winograd INT8的可以提高一倍,winograd 要求卷積核必須是3*3
    發表于 09-19 08:11

    通用人工智能:初心與未來》-試讀報告

    作者給出的結論。整體讀下來,可以給我們關于通用人工智能全面的了解。作者也反復強調了通用人工智能與專用智能的區別。尤其是人們錯誤的認為一堆專用智能堆砌起來就是
    發表于 09-18 10:02

    關于K210 KPU用途及FPU疑問

    最近有一款產品需要做低功耗,做了一些選型后發現了K210,有幾個疑問希望大佬解答一下。1.KPU能不能做一些通用計算,用來做固定的公式數據計算,比如我有10萬點整形數據,需要求平均,做累加,做乘積
    發表于 09-15 07:12

    蜂鳥內核怎么正余弦函數?

    我想問一下蜂鳥內核怎么正余弦函數
    發表于 08-12 07:52

    現在的汽車為啥需要那么多的芯片,多了有啥用?

    洞見分析經驗分享
    電子發燒友網官方
    發布于 :2023年08月04日 17:21:24

    什么是Buck電源?矽杰SQ51201值得關注

    什么是多相Buck電源? 大數據,云計算,人工智能概念的興起,通信基站,數據中心等基建設施及汽車電動智能化催生出的自動駕駛等終端應用都需要耗電更大的CPU,GPU及ASIC來支持更為強勁的
    發表于 06-28 15:48
    亚洲欧美日韩精品久久_久久精品AⅤ无码中文_日本中文字幕有码在线播放_亚洲视频高清不卡在线观看
    <acronym id="s8ci2"><small id="s8ci2"></small></acronym>
    <rt id="s8ci2"></rt><rt id="s8ci2"><optgroup id="s8ci2"></optgroup></rt>
    <acronym id="s8ci2"></acronym>
    <acronym id="s8ci2"><center id="s8ci2"></center></acronym>