英偉達GH200、特斯拉Dojo超級算力集群，性能爆棚！算力之爭加??！

電子發燒友網報道（文/李彎彎）今年8月，在計算機圖形學頂會SIGGRAPH 2023現場，英偉達發布了新一代GH200 Grace Hopper平臺，該平臺專為處理大語言模型、推薦系統、矢量數據庫等全球最復雜的生成式 AI 工作負載而構建。

日前，這款GH200 Grace Hopper超級芯片首次亮相MLPerf行業基準測試，在此次測試中，具有更高的內存帶寬和更大的內存容量的GH200與H100 GPU相比，性能高出17%。要知道，英偉達的H100 GPU產品性能在業界已經是處于遙遙領先的水平。

相比于H100 GPU，英偉達新一代GH200性能高出17%

英偉達在去年3月推出了第一代Grace Hopper超級芯片平臺，首次將CPU和GPU融合在一個平臺上。相比較之下，其今年8月推出的新一代產品配備了HBM3e，內存容量和帶寬都有顯著提高。HBM3e內存是一種新型的高帶寬內存技術，可以在更小的空間內提供更高的數據傳輸速率。

具體來看，HBM3e比當前的HBM3快50%，可提供總計10TB/s的帶寬。這使得新平臺能夠運行比上一版本大3.5倍的模型，同時憑借快3倍的內存帶寬提升性能。

黃仁勛此前表示，為了滿足對生成式AI不斷激增的需求，數據中心需要能夠滿足特定需求的加速計算平臺。全新GH200 Grace Hopper超級芯片平臺以出色的內存技術和帶寬，提高了吞吐量，在不影響性能的情況下可連接多GPU 以整合性能，并且具有可以輕松部署到整個數據中心的服務器設計。

此外，新平臺可以通過 NVIDIA NVLink與其他超級芯片連接，使它們能夠協同工作，從而部署當下大型生成式AI模型。

新平臺和芯片的加持，能讓大模型訓練的成本得到有效降低。據黃仁勛介紹，一臺服務器可以同時裝載兩個GH200超級芯片。而投資800萬美元Grace Hopper，相當于8800個價值1億美元的x86 GPU，意味著成本降低12倍，能耗降低20倍。

在此次MLPerf行業基準測試，英偉達這款GH200 Grace Hopper超級芯片將其性能之高展示無余。MLPerf是影響力廣泛的國際AI性能基準評測，其推理性能評測涵蓋使用廣泛的六大AI場景，比如計算機視覺、自然語言處理、推薦系統、語音識別等，每個場景采用最主流的AI模型作為測試任務，每一任務又分為數據中心和邊緣兩類場景。

其由MLCommons由來自學術界、研究實驗室和行業的人工智能領導者組成的聯盟開發，旨在對硬件、軟件和服務的訓練和推理性能“構建公平和有用的基準測試”。

據介紹，此次MLPerf Inference v3.1基準測試是繼4月發布3.0版本之后的又一次更新，值得注意的是，這次更新包含了兩個第一次：引入基于60億參數大語言模型GPT-J的推理基準測試和改進的推薦模型。

GPT-J是來自EleutherAI的OpenAI GPT-3的開源替代品，現已在MLPerf套件中用作衡量推理性能的基準。與一些更先進的人工智能模型（如1750億參數的GPT-3）相比，60億參數的GPT-J屬于相當輕量的模型，但它非常適合推理基準的角色。該模型總結了文本塊，并可在延遲敏感的在線模式和吞吐量密集型的離線模式下運行。

GH200 Grace Hopper超級芯片在GPT-J工作負載方面取得了優異的成績，在離線和服務器場景中的每加速器性能都達到了最高水平。

包括特斯拉，眾多企業積極構建算力芯片和集群

隨著人工智能技術的發展，尤其是近年來生成式AI及大模型應用的快速拓展，市場對算力的需求快速增加。我們知道，無論是AI訓練還是推理，都需要大量的算力作為支撐。而目前在大模型的訓練和推理方面，英偉達的GPU占據重要位置。

今年以來，英偉達的A100和H100兩款芯片訂單不斷增加，價格也在一直上漲。根據其最新的第二財季報告，其凈利潤達到61.88億美元，與去年同期相比增長422%，較上一財季增長203%。據業內人士推測，英偉達H100芯片明年出貨量還要至少增加兩倍。

在AI迅猛發展的當下，除了英偉達，國內外企業都在積極研發AI芯片，構建自己的算力集群，比如英特爾、AMD此前都針對AI大模型推出了相應的大算力芯片產品。國內的不少GPGPU企業及云服務廠商也都在積極布局。

此外，作為全球知名的自動駕駛企業，特斯拉也早已開始研發自己的算力芯片，打造自己的超級計算機。最近，特斯拉的股票大漲，摩根士丹利分析師認為，特斯拉超級計算機Dojo釋放人工智能提升業績的巨大潛力，成為其股價走強的主因之一。

在產品形態上，特斯拉的Dojo最終落地單位是一個名為ExaPOD的超級計算集群。它集成了3000顆基于7nm制程工藝的D1芯片，包含120個訓練模塊，最終能夠實現高達 1.1 EFlops（百億億次浮點運算）的BF16/CFP8峰值算力；1.3TB高速 SRAM；13TB高帶寬 DRAM。

在2021年的特斯拉AI Day上，Dojo超算項目負責人Ganesh Venkataramana展示了集成了25個D1芯片的訓練模塊，他表示特斯拉找到的一個關鍵答案是用臺積電的InFO_SoW整合扇出技術。這是一種芯片先進封裝技術，相比于傳統的打線封裝，InFO技術的基本優勢是可以實現多個芯片集成封裝，加速信號傳遞。

特斯拉打算利用Dojo對海量視頻數據進行無監督學習，加速Autopilot和完全自動駕駛（FSD）系統的迭代，同時為其人形機器人Optimus提供算力支持。

在2022年9月的AI Day上，特斯拉公布Dojo已建立完整的散熱盤上系統。同時也宣布了未來路線圖，表示AI團隊正在研發新版本的Dojo超算組件。

據今年7月20日的報道，特斯拉Dojo超算已在今年7月開始量產，而總算力達100ExaFLOPs的超算系統將于2024年底量產。

特斯拉之前已經構建基于英偉達GPU的大型超級計算機，而如今其自主研發并推出D1芯片，有助于其減少對英偉達GPU的依賴。

小結

從目前的情況來看，英偉達在AI訓練和推理中占據極大的市場份額，在大模型領域更是占據絕對優勢，國內外大部分企業都依賴英偉達A100、H100等產品，而如今其GH200在性能上更強，在大模型訓練方面又能夠幫助企業降低成本，必然會受到一眾企業追捧。

當然除了英偉達，國外內還有眾多企業也在通過自己的方式，研究并發布適合AI訓練和部署芯片，為AI行業的發展構建算力集群?？梢钥吹?，在生成式AI、大模型的發展下，作為基礎支撐的算力尤為重要。