0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學(xué)習在線(xiàn)課程
  • 觀(guān)看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區
會(huì )員中心
創(chuàng )作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內不再提示

GPU如何突破算力供需瓶頸

沐曦MetaX ? 來(lái)源:沐曦MetaX ? 2023-08-22 10:26 ? 次閱讀

近日,2023中國算力大會(huì )在寧夏銀川舉行,沐曦集成電路(上海)有限公司(下稱(chēng)“沐曦”)聯(lián)合創(chuàng )始人、CTO兼首席硬件架構師彭莉受邀出席由中國信息通信研究院、中國互聯(lián)網(wǎng)協(xié)會(huì )聯(lián)合舉辦的智能計算論壇,并擔任演講嘉賓,探討后GPT時(shí)代算力需求激增帶來(lái)的挑戰以及GPU如何突破算力供需瓶頸、推動(dòng)人工智能產(chǎn)業(yè)普惠化發(fā)展。

沐曦聯(lián)合創(chuàng )始人、CTO兼首席硬件架構師彭莉

發(fā)表主題演講

在題為“后GPT時(shí)代的算力需求”的演講中,彭莉預測大模型商業(yè)模式將分為通用計算市場(chǎng)和專(zhuān)用定制化市場(chǎng)兩大類(lèi):在通用計算市場(chǎng),大語(yǔ)言模型將終結多數NLP任務(wù),NLP技術(shù)水平被強行拉平,通用大模型或被大廠(chǎng)“壟斷”;而在專(zhuān)用定制化市場(chǎng),開(kāi)源大模型將呈現百花齊放的發(fā)展態(tài)勢,可針對私有數據、敏感數據進(jìn)行快速定制和領(lǐng)域對齊,大模型開(kāi)發(fā)和部署能力將趨于普及化。

彭莉指出,區別于傳統AI,生成式AI技術(shù)可以借助接入類(lèi)ChatGPT應用發(fā)揮顯著(zhù)的技術(shù)優(yōu)勢,為大語(yǔ)言模型的開(kāi)發(fā)降本增效,同時(shí)也對算力提出更高和更迫切的要求。由于大模型訓練的一次性成本被大規模推理攤薄,大模型盈利的一大難點(diǎn)是降低推理成本。沐曦致力于打造高效通用的GPU芯片及軟硬件一體的生態(tài)解決方案,通過(guò)GPU軟件生態(tài)優(yōu)勢、硬件架構優(yōu)勢、先進(jìn)封裝等方面全面提升GPU算力,降低大模型訓練和推理的算力成本,在產(chǎn)品路線(xiàn)和生態(tài)戰略上均可滿(mǎn)足大模型對算力基礎設施的大規模需求,為推進(jìn)智能產(chǎn)業(yè)可持續發(fā)展打造堅實(shí)的算力底座。

審核編輯:彭菁

聲明:本文內容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權轉載。文章觀(guān)點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習之用,如有內容侵權或者其他違規問(wèn)題,請聯(lián)系本站處理。 舉報投訴
  • 集成電路
    +關(guān)注

    關(guān)注

    5341

    文章

    10916

    瀏覽量

    355184
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    27

    文章

    4490

    瀏覽量

    127359
  • 硬件
    +關(guān)注

    關(guān)注

    11

    文章

    2966

    瀏覽量

    65303
  • 沐曦
    +關(guān)注

    關(guān)注

    0

    文章

    25

    瀏覽量

    1101
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    1827

    瀏覽量

    1422
收藏 人收藏

    評論

    相關(guān)推薦

    存內計算WTM2101編譯工具鏈 資料

    存內計算是突破物理極限的下一代技術(shù)- AIGC等人工智能新興產(chǎn)業(yè)的快速發(fā)展離不開(kāi),
    發(fā)表于 05-16 16:33

    中科微感MEMS氣體傳感器量產(chǎn)技術(shù)再次突破瓶頸,良品率接近98%

    中科微感MEMS氣體傳感器量產(chǎn)技術(shù)再次突破瓶頸。以CM-A107S氫氣傳感器為例,晶圓級萬(wàn)顆批量生產(chǎn),單顆LGA封裝的MEMS氫氣傳感器初始阻值和響應值一致性偏差逼近5%,良品率接近98%。
    的頭像 發(fā)表于 05-09 09:03 ?222次閱讀
    中科微感MEMS氣體傳感器量產(chǎn)技術(shù)再次<b class='flag-5'>突破</b><b class='flag-5'>瓶頸</b>,良品率接近98%

    NVLink技術(shù)之GPUGPU的通信

    在多 GPU 系統內部,GPU 間通信的帶寬通常在數百GB/s以上,PCIe總線(xiàn)的數據傳輸速率容易成為瓶頸,且PCIe鏈路接口的串并轉換會(huì )產(chǎn)生較大延時(shí),影響GPU并行計算的效率和性能。
    發(fā)表于 03-27 09:40 ?1180次閱讀
    NVLink技術(shù)之<b class='flag-5'>GPU</b>與<b class='flag-5'>GPU</b>的通信

    Nvidia與AMD新芯片,突破PCIe瓶頸

    AMD 和 Nvidia 的 GPU 都依賴(lài) PCI 總線(xiàn)與 CPU 進(jìn)行通信。CPU 和 GPU 有兩個(gè)不同的內存域,數據必須通過(guò) PCI 接口從 CPU 域移動(dòng)到 GPU 域(并返回)。
    的頭像 發(fā)表于 03-08 14:15 ?303次閱讀
    Nvidia與AMD新芯片,<b class='flag-5'>突破</b>PCIe<b class='flag-5'>瓶頸</b>

    能RADXA微服務(wù)器試用體驗】Radxa Fogwise 1684X Mini 規格

    通過(guò)網(wǎng)絡(luò )可以了解到,能RADXA微服務(wù)器的具體規格: 處理器:BM1684X :高達32Tops INT8峰值 內存:16GB L
    發(fā)表于 02-28 11:21

    iBeLink KS MAX 10.5T大領(lǐng)跑KAS新領(lǐng)域

    —KHeavyHash。在市場(chǎng)上,有一款挖掘機可以滿(mǎn)足這個(gè)要求,那就是iBeLink ks max 10.5T。 iBeLink ks max 10.5T是一款專(zhuān)為Kaspa挖掘而設計的挖掘機,它的
    發(fā)表于 02-20 16:11

    請問(wèn)用強大的SOC來(lái)控制汽車(chē)是不是能夠大幅減少MCU的使用數量?

    來(lái)自一位用戶(hù)的咨詢(xún),麻煩幫忙解答,越詳細越好,有圖有真相,可以適當提供一些英飛凌解決方案和產(chǎn)品推薦。 用強大的SOC來(lái)控制汽車(chē)是不是能夠大幅減少MCU的使用數量? 未來(lái)電動(dòng)汽車(chē)會(huì )使用SOC來(lái)代替大量MCU?
    發(fā)表于 02-02 07:16

    大茉莉X16-P,5800M大稱(chēng)王稱(chēng)霸

    Rykj365
    發(fā)布于 :2024年01月25日 14:54:52

    FPGA和CPU、GPU有什么區別?為什么越來(lái)越重要?

    的單元?本質(zhì)上是由于 CPU 的到達瓶頸了,背后是通用計算時(shí)代的終結。從發(fā)明 以來(lái), CPU 的提升主要依靠?jì)纱蠓▽殻阂皇翘岣邥r(shí)鐘頻
    發(fā)表于 11-09 14:09

    什么是換電呢?換電真能突破電動(dòng)汽車(chē)的發(fā)展瓶頸嗎?

    什么是換電呢?換電真能突破電動(dòng)汽車(chē)的發(fā)展瓶頸嗎? 換電是指在電動(dòng)汽車(chē)行駛過(guò)程中,到達特定的服務(wù)站點(diǎn),將電動(dòng)汽車(chē)的電池組以換電方式進(jìn)行更換的服務(wù)。 電動(dòng)汽車(chē)作為未來(lái)交通的主要趨勢,但是由于充電時(shí)間過(guò)長(cháng)
    的頭像 發(fā)表于 11-06 10:56 ?1202次閱讀

    c語(yǔ)言時(shí)間for延時(shí),怎么時(shí)間?

    c語(yǔ)言時(shí)間 for延時(shí),怎么時(shí)間?for(i=;;)
    發(fā)表于 10-08 07:46

    沐曦彭莉談后GPT時(shí)代的算力需求

    演講嘉賓,探討后GPT時(shí)代算力需求激增帶來(lái)的挑戰以及GPU如何突破算力供需瓶頸、推動(dòng)人工智能產(chǎn)業(yè)普惠化發(fā)展。
    的頭像 發(fā)表于 08-22 10:26 ?983次閱讀

    GPU國產(chǎn)化率不足1%!沐曦GPU芯片曦思N100和曦云C500火爆登場(chǎng)

    ChatGPT為代表的生成式 AI 應用引發(fā)新一輪算力需求,導致供需矛盾特別突出?!便逦醺呒壆a(chǎn)品總監周彬表示。 ? 數字時(shí)代爆發(fā)的技術(shù)變革,使得智能化加速。根據 IDC 數據,2023年全球高性能 AI 服務(wù)器市場(chǎng)規模預計達 248 億美元,年增率預計高達 27%。國產(chǎn)GPU
    的頭像 發(fā)表于 08-16 01:13 ?1w次閱讀
    <b class='flag-5'>GPU</b>國產(chǎn)化率不足1%!沐曦<b class='flag-5'>GPU</b>芯片曦思N100和曦云C500火爆登場(chǎng)

    英偉達:GPU產(chǎn)量瓶頸在于芯片封裝

    能夠滿(mǎn)足消費者或專(zhuān)家用工作負荷(如ai)的gpu的制作問(wèn)題會(huì )在后續包裝階段發(fā)生。nvidia的h系列gpu使用設備的2.5d cowos包裝技術(shù),這是一個(gè)多階段的高精密工程過(guò)程,可以減少在給定時(shí)間內組裝的gpu數量,從而影響供應
    的頭像 發(fā)表于 08-08 09:37 ?504次閱讀

    常見(jiàn)GPU利用率低原因分析

    GPU 任務(wù)會(huì )交替的使用 CPU 和 GPU 進(jìn)行計算,當 CPU 計算成為瓶頸時(shí),就會(huì )出現 GPU 等待的問(wèn)題,GPU 空跑那利用率就低了
    發(fā)表于 06-19 12:22 ?1099次閱讀
    常見(jiàn)<b class='flag-5'>GPU</b>利用率低原因分析
    亚洲欧美日韩精品久久_久久精品AⅤ无码中文_日本中文字幕有码在线播放_亚洲视频高清不卡在线观看