<acronym id="s8ci2"><small id="s8ci2"></small></acronym>
<rt id="s8ci2"></rt><rt id="s8ci2"><optgroup id="s8ci2"></optgroup></rt>
<acronym id="s8ci2"></acronym>
<acronym id="s8ci2"><center id="s8ci2"></center></acronym>
0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

芯科技,解密ChatGPT暢聊之算力芯片

是德科技KEYSIGHT ? 來源:未知 ? 2023-12-27 07:45 ? 次閱讀

在今日飛速發展的科技浪潮中,OpenAI的ChatGPT如一顆璀璨明星,引領著智能對話的新潮流。ChatGPT不僅是一款聊天機器人程序,它背后的驅動力是一個龐大而復雜的算力網絡。這個網絡依賴于先進的GPU服務器,尤其是英偉達的A100 GPU,提供了強大而精確的計算能力。ChatGPT的功能遠超日常對話,它能夠學習、理解并生成人類般的文本,是人工智能領域的一個重要突破。但其真正力量的源泉,是背后那些不斷工作的算力芯片,它們讓ChatGPT能夠實時響應和進化,成為我們生活和工作中的得力助手。

本期是“芯科技”欄目第一期,文末有驚喜,千萬別錯過!

作為OpenAI研發的聊天機器人程序,支撐ChatGPT運轉的可不是簡單的一臺機器,而是一個龐大的算力網絡。這個算力網絡可以抽象為三層:傳輸網絡、計算網絡和存儲網絡。如下圖:

wKgZomWLZrKAA38rAAHaga7MSPs531.png

圖:算力網絡示意圖

當前,大部分算力網絡所采用的是GPU服務器,并廣泛使用英偉達A100 GPU。A100 GPU屬于算力芯片的一種,類型是GPGPU,此外還有專用的ASIC,比如NPU、VPU和TPU等,以及傳統的CPUFPGA等。我們通過下面這張圖能夠比較直觀地看到GPGPU在性能、算法精度、通用性等方面的優勢。

算力芯片對比

指標

GPGPU

CPU

FPGA

ASIC

算力性能

極低

較高

芯片成本

較高

系統成本

功耗

能效比

極低

通用性

算力精度

豐富

單一

單一

單一

算法適配

豐富

單一

單一

單一

數據并行能力

適用場景

云端訓練和推理

任務調度類

云邊端推理

云邊端訓練和推理

圖:算力芯片分類

綜合而言,GPGPU是一款算力性能高,算力類型豐富,算法框架適配完全,數據并行能力強的算力芯片,更加適合當前多模態AI模型的發展。

在算力網絡中,GPGPU芯片要發揮性能光靠自己可不行,需要系統的配合。在這個系統內:CPU負責任務調度;GPU負責主要的算力輸出,也就是計算任務;內存負責數據暫存,配合GPU進行計算。

wKgZomWLZrKAMmUUAAXO92vc_Ko414.png

圖:算力網絡芯片分工示意圖

為了提升計算效率,減少數據傳輸的延時,英偉達A100在芯片封裝內搭載了HBM內存,其具有傳輸距離近,速度帶寬高,堆疊容量大的優勢。

wKgZomWLZrOAWncQAAPS3eFl3OM467.png

圖:HBM內存,示意圖

HBM這種芯片封裝內搭載內存的方式,成本是比較高的,因此大部分AI服務器選擇將計算芯片和內存分開,為了提升這種方式下內存的傳輸速度,內存標準也在不斷演進,已經迭代到DDR5。

wKgZomWLZrOAB72rAAK802-g8kw934.png

圖:內存技術發展

內存的發展趨勢是速度更快、尺寸更小、功耗更低。為了保障內存的高性能和穩定性,在測試環節,需要進行各種功能、性能和可靠性等方面測試,其中需要用到高速誤碼儀,示波器,協議分析儀,一致性分析軟件等軟硬件組合,如下圖:

wKgZomWLZrOATm9oAARdZyO2bdI224.png

圖:是德科技DDR5測試拓撲圖

是德科技,對算力芯片,總線技術PCIe/CXL,存儲技術DDR/LPDDR等都有完整的解決方案,更多有關算力芯片測試,請參考文章下載鏈接:

點擊注冊

作為是德科技 “芯科技” 系列第一期,我們特意為大家準備了精美的禮品抽獎,也歡迎大家留言,把你想學習的知識,你和是德科技的故事,一起告訴小編!


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 是德科技
    +關注

    關注

    19

    文章

    794

    瀏覽量

    81120

原文標題:芯科技,解密ChatGPT暢聊之算力芯片

文章出處:【微信號:是德科技KEYSIGHT,微信公眾號:是德科技KEYSIGHT】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    在FPGA設計中是否可以應用ChatGPT生成想要的程序呢

    當下AI人工智能崛起,很多開發領域都可看到ChatGPT的身影,FPGA設計中,是否也可以用ChatGPT輔助設計呢?
    發表于 03-28 23:41

    能RADXA微服務器試用體驗】Radxa Fogwise 1684X Mini 規格

    通過網絡可以了解到,能RADXA微服務器的具體規格: 處理器:BM1684X :高達32Tops INT8峰值 內存:16GB L
    發表于 02-28 11:21

    iBeLink KS MAX 10.5T大領跑KAS新領域

    有8G的顯存,可以處理復雜的算法,提高挖掘穩定性。iBeLink ks max10.5T的超大特點是它的高效節能,它采用了先進的“存一體”高通量芯片,專為“大型復雜”的區的塊的鏈
    發表于 02-20 16:11

    【國產FPGA+OMAPL138開發板體驗】(原創)6.FPGA連接ChatGPT 4

    OMAP-L138(定點/浮點DSP C674x+ARM9)+ FPGA處理器的開發板。 編寫一個用于FPGA訪問ChatGPT 4的程序代碼是一個相當復雜的任務,涉及到硬件設計、網絡通信、數據處理等多個
    發表于 02-14 21:58

    大茉莉X16-P,5800M大稱王稱霸

    Rykj365
    發布于 :2024年01月25日 14:54:52

    【愛派 Pro 開發板試用體驗】開箱測試

    感謝電子愛好者和愛元智公司提供的測試機會。 愛派 Pro (AXera-Pi Pro)搭載愛元智第三代高、高能效比智能視覺
    發表于 11-20 22:09

    不到1分鐘開發一個GPT應用!各路大神瘋狂整活,網友:ChatGPT就是新iPhone

    的能力仍然是不可替代的。 此外,ChatGPT等語言模型的應用也需要大量的數據和支持,以及專業的技術人員進行開發和維護。因此,雖然ChatGPT等語言模型在某些方面具有一定的優勢,
    發表于 11-19 12:06

    【愛派 Pro 開發板試用體驗】篇一:開箱篇

    派 Pro (AXera-Pi Pro)M4N Dock 是一款集成了高、高能效 AI SOC 的開發板。它采用了愛 AX650N 作為主控
    發表于 11-15 11:32

    淺談芯片常用的解密

    關于解密設備其實是很多種工具,例如我們常常聽說到得FIB設備,其實不能說FIB是解密設備,FIB是聚焦離子束設備,是在納米級的對材料切割和連接的一種儀器,當然在微電子領域應用最多,如果使用FIB解密
    的頭像 發表于 11-08 11:45 ?533次閱讀

    芯片是怎么被解密的?

    關于解密設備其實是很多種工具,例如我們常常聽說到得FIB設備,其實不能說FIB是解密設備,FIB是聚焦離子束設備,是在納米級的對材料切割和連接的一種儀器
    的頭像 發表于 11-08 11:44 ?582次閱讀

    芯片解密你最關心的是什么

    中國芯片起步較晚,在追趕先進技術的過程中,芯片解密技術扮演著重要角色,芯片解密公司遍地開花,有芯片
    的頭像 發表于 06-14 15:58 ?548次閱讀

    【核芯觀察】ChatGPT背后的算力芯片(三)

    在今年以來可以說是最熱的賽道,而AI大模型對算力的需求爆發,也帶動了AI服務器中各種類型的芯片需求,所以本期核芯觀察將關注ChatGPT背后所用到的算力芯片產業鏈,梳理目前主流類型的AI算力
    的頭像 發表于 06-04 05:05 ?2149次閱讀
    【核芯觀察】<b class='flag-5'>ChatGPT</b>背后的算力<b class='flag-5'>芯片</b>(三)

    ChatGPT對話語音識別

    ChatGPT
    YS YYDS
    發布于 :2023年05月30日 22:13:10

    【核芯觀察】ChatGPT背后的算力芯片(二)

    在今年以來可以說是最熱的賽道,而AI大模型對算力的需求爆發,也帶動了AI服務器中各種類型的芯片需求,所以本期核芯觀察將關注ChatGPT背后所用到的算力芯片產業鏈,梳理目前主流類型的AI算力
    的頭像 發表于 05-28 00:34 ?2407次閱讀
    【核芯觀察】<b class='flag-5'>ChatGPT</b>背后的算力<b class='flag-5'>芯片</b>(二)

    ChatGPT背后的算力芯片

    在今年以來可以說是最熱的賽道,而AI大模型對算力的需求爆發,也帶動了AI服務器中各種類型的芯片需求,所以本期核芯觀察將關注ChatGPT背后所用到的算力芯片產業鏈,梳理目前主流類型的AI算力
    的頭像 發表于 05-21 00:01 ?3123次閱讀
    <b class='flag-5'>ChatGPT</b>背后的算力<b class='flag-5'>芯片</b>
    亚洲欧美日韩精品久久_久久精品AⅤ无码中文_日本中文字幕有码在线播放_亚洲视频高清不卡在线观看
    <acronym id="s8ci2"><small id="s8ci2"></small></acronym>
    <rt id="s8ci2"></rt><rt id="s8ci2"><optgroup id="s8ci2"></optgroup></rt>
    <acronym id="s8ci2"></acronym>
    <acronym id="s8ci2"><center id="s8ci2"></center></acronym>