AI服務(wù)器的內存接口芯片技術(shù)

本文來(lái)自“AI服務(wù)器元年，接口互聯(lián)芯片梳理”，據 TrendForce 數據，AI 服務(wù)器出貨約13萬(wàn)臺，占全球服務(wù)器出貨約1%，展望2023年，Microsoft、Meta、Baidu 與 ByteDance 相繼推出基于生成式 AI 衍生的產(chǎn)品服務(wù)而積極加單，預估 23 年 AI 服務(wù)器出貨量年增率可望達 15.4%，且隨著(zhù)未來(lái) ChatGPT 對 AI 服務(wù)器需求用量，預計 2023-2027 年 AI 服務(wù)器將以 12.2%年復合增速成長(cháng)。??

DGX H100 于 2022 年推出，是 NVIDIA 的 DGX 系統的最新迭代產(chǎn)品，也是 NVIDIA DGX SuperPOD 的基礎。DXG 服務(wù)器配備 8 塊 H100 GPU，6400億個(gè)晶體管，在全新的 FP8 精度下 AI 性能比上一代高 6 倍，可提供 900GB/s 的帶寬。

在 DGX H100 服務(wù)器內部，藍色方塊為 IP 網(wǎng)卡，既可充當網(wǎng)卡又可發(fā)揮PCIe Switch 擴展功能，成為 CPU 與 GPU（H100）之間互聯(lián)的橋梁。其內部采用 PCle 5.0 標準。此外，CX7 以網(wǎng)卡芯片的形式做成 2 塊板卡來(lái)插入服務(wù)器，每 4 個(gè) CX7 芯片組成一塊板卡并且對外輸出 2 個(gè) 800G OSFP 光模塊口。

而 GPU（H100）之間互聯(lián)主要通過(guò) NV Switch 芯片來(lái)實(shí)現。每個(gè) DGXH100 內的一個(gè) GPU 向外伸出 18 個(gè) NVLink ，單鏈雙向帶寬為 50 GB/s，共計18*50GB/s=900GB/s 雙向帶寬，拆分到 4 個(gè)板載的 NV Switch 上去，因而每個(gè)NV Switch 對應 4-5 個(gè) OSFP 光模塊（共計 18 個(gè)）。每個(gè) OSFP 光模塊采用 8 個(gè)光通道，每個(gè)通道的傳輸速率為 100Gbps，因此總速率高達 800Gbps，能夠實(shí)現高速的數據傳輸。

1、CPU、GPU等組件互聯(lián)：PCIE Switch、Retimer芯片

PCIe Switch 即 PCIe 開(kāi)關(guān)或 PCIe 交換機，主要作用是實(shí)現 PCIe 設備互聯(lián)，PCIe Switch 芯片與其設備的通信協(xié)議都是 PCIe。由于 PCIe 的鏈路通信是一種端對端的數據傳輸，因此需要 Switch 提供擴展或聚合能力，從而允許更多的設備連接到一個(gè) PCle 端口，以解決 PCIe 通道數量不夠的問(wèn)題。目前 PCIe Switch 不僅已經(jīng)被廣泛應用在了傳統存儲系統中，而且在部分服務(wù)器平臺也逐漸普及，用于提高數據傳輸的速度。

PCIe 總線(xiàn)技術(shù)升級，PCIe Switch 每代速率提升。PCIe 總線(xiàn)是 PCI 總線(xiàn)的高速串行替代品。2001 年，Intel 公布取代 PCI 總線(xiàn)的第三代 I/O 技術(shù)——“3GIO”，2002 年該項技術(shù)經(jīng)過(guò) PCI 特殊興趣組織（PCI-SIG）審核后正式改名為“PCI Express”，標志著(zhù) PCIe 的誕生。2003 年，PCIe 1.0 正式發(fā)布，可支持每通道傳輸速率為 250MB/s，總傳輸速率為 2.5 GT/s。2007 年 PCI-SIG 宣布推出 PCI Express Base 2.0 規范。在 PCIe 1.0 的基礎上將總傳輸速率提高了一倍，達到 5 GT/s，每通道傳輸速率從 250 MB/s 上升至 500 MB/s。2022 年 PCI-SIG正式發(fā)布 PCIe 6.0 規范，將總帶寬提高至 64 GT/s。

隨著(zhù)PCIe 在服務(wù)器中越來(lái)越廣泛地被應用，PCIe Switch 的市場(chǎng)需求也被帶動(dòng)起來(lái)。根據 QYResearch（恒州博智）的統計及預測，2021 年全球 PCIe 芯片市場(chǎng)銷(xiāo)售額達到了 7.9 億美元，預計 2028 年將達到 18 億美元，年復合增長(cháng)率（CAGR）為 11.9%。

中國是 PCIe Switch 最大市場(chǎng)。隨著(zhù)服務(wù)器對海量數據存儲與傳輸的要求日益提高，PCIe Switch 市場(chǎng)發(fā)展成為一片藍海。中國是全球最大的電子產(chǎn)品生產(chǎn)和消費國家之一，在大數據、云計算、人工智能等領(lǐng)域，需要大量高速互聯(lián)解決方案來(lái)實(shí)現海量數據傳輸。而 PCIe Switch 作為高速互聯(lián)解決方案，在中國市場(chǎng)具有極大的需求。

在 AI 服務(wù)器中，GPU 與 CPU 連接時(shí)至少需要一顆 Retimer 芯片來(lái)保證信號質(zhì)量。具體而言，很多 AI 服務(wù)器都會(huì )配置多顆 Retimer 芯片，例如 Astera Labs在 AI 加速器中配置了 4 顆 Retimer 芯片。

PCIe Retimer 藍海市場(chǎng)三足鼎立，潛在競爭者躍躍欲試。目前譜瑞-KY、Astera labs、瀾起科技是 PCIe Retimer 藍海市場(chǎng)中的三家主要廠(chǎng)商，占據領(lǐng)先地位。其中瀾起科技布局 PCIe 較早，是全球可量產(chǎn) PCIe 4.0 Retimer 的唯一中國大陸供應商，且目前 PCIe 5.0 Retimer 研發(fā)順利。

此外，包括瑞薩，TI，微芯科技等在內的芯片廠(chǎng)商也在積極投入 PCIe Retimer 的產(chǎn)品研發(fā)中。根據官網(wǎng)信息，瑞薩可提供包括 89HT0816AP 和 89HT0832P 在內的兩款 PCIe 3.0 Retimer產(chǎn)品；TI 可提供一款 16Gbps 8 通道 PCIe 4.0 Retimer——DS160PT801；同樣地，微芯科技于 2020 年 11 月發(fā)布 XpressConnect 系列 Retimer 芯片，可支持PCIe 5.0 的 32GT/s 速率。

2、GPU與 GPU連接：NVLink、NVSwitch

全球各大芯片廠(chǎng)商均在關(guān)注高速接口的相關(guān)技術(shù)，除了 NVDIA 的 NVLink 之外，AMD 的 Infinity Fabric 和 Intel 的 CXL（Compute Express Link）等也為服務(wù)器內部的高速串聯(lián)提供了解決方案。

不斷迭代更新的 NVlink 掀起高速互聯(lián)技術(shù)革命。NVLink 是一種由 NVIDIA開(kāi)發(fā)的高速互連技術(shù)，旨在加快 CPU 與 GPU、GPU 與 GPU 之間的數據傳輸速度，提高系統性能。從 2016 年到 2022 年，NVLink 已經(jīng)迭代至第四代。

2016 年，NVDIA 發(fā)布了 Pascal GP100 GPU 所搭載的新的高速接口芯片—— NVLink ， 這 是 第 一 代 NVLink 。NVLink 采 用 High-Speed Signalinginterconnect（NVHS）技術(shù)，主要用于 GPU 與 GPU 之間、GPU 與 CPU 之間的信號傳輸。GPU 之間傳輸 NRZ（Non-Return-to-Zero）編碼形式的差分阻抗電信號。第一代NVLink單鏈可實(shí)現40 GB/s的雙向帶寬，單芯片可支持4鏈路，即 160 GB/s 的總雙向帶寬。

此后，NVLink 歷經(jīng)多次迭代更新，掀起了高速互聯(lián)技術(shù)革新浪潮。2017 年，基于 Volta 架構的第二代 NVLink 發(fā)布，單鏈可實(shí)現 50 GB/s 的雙向帶寬，單芯片可支持 6 鏈路，即 300 GB/s 的總雙向帶寬。2020 年，基于 Ampere 架構的第三代 NVLink 發(fā)布，單鏈可實(shí)現 50 GB/s 的雙向帶寬，單芯片可支持 12 鏈路，即 600 GB/s 的總雙向帶寬。2022 年，基于 Hopper 架構的第四代 NVLink 發(fā)布，傳輸信號變?yōu)?PAM4 調制電信號，單鏈可實(shí)現 50 GB/s 的雙向帶寬，單芯片可支持 18 鏈路，即 900 GB/s 的總雙向帶寬。

2018 年 NVDIA 發(fā)布了第一代 NVSwitch，為提高服務(wù)器內部帶寬、降低延遲、實(shí)現多 GPU 間通信提供了解決方案。第一代 NVSwitch 采用臺積電 12nmFinFET 工藝制造，共有 18 個(gè) NVLink 2.0 接口。一臺服務(wù)器內部可以通過(guò) 12 個(gè)NVSwitch 支持 16 個(gè) V100 GPU，實(shí)現以 NVLink 最高速率互聯(lián)。

目前 NVSwitch 已經(jīng)迭代至第三代。第三代 NVSwitch 采用 TSMC 4N 工藝構建，每個(gè) NVSwitch 芯片上擁有 64 個(gè) NVLink 4.0 端口，GPU 間通信速率可達 900GB/s，這些通過(guò) NVLink Switch 互聯(lián)的 GPU 可用作單個(gè)高性能加速器，擁有深度學(xué)習的功能。

3、CPU 與 DRAM高速互聯(lián)，拉動(dòng)內存接口芯片

服務(wù)器內存模組主要類(lèi)型為 RDIMM、LRDIMM，相較于其他類(lèi)型內存模組，服務(wù)器內存模組對穩定性、糾錯能力以及低功耗均有較高要求。內存接口芯片是服務(wù)器內存模組的核心邏輯器件，是服務(wù)器 CPU 存取內存數據的必由通路。其主要作用是提升內存數據訪(fǎng)問(wèn)的速度及穩定性，滿(mǎn)足服務(wù)器 CPU 對內存模組日益增長(cháng)的高性能及大容量需求。

從 DDR4 至 DDR5，內存接口芯片速率持續升級。2016 年開(kāi)始，DDR4 成為內存市場(chǎng)的主流技術(shù)，為了實(shí)現更高的傳輸速率和支持更大的內存容量，JEDEC 組織進(jìn)一步更新和完善了 DDR4 內存接口芯片的技術(shù)規格。在 DDR4 世代，從 Gen1.0、Gen1.5、Gen2.0 到 Gen2plus，每一子代內存接口芯片所支持的最高傳輸速率在持續上升，DDR4 最后一個(gè)子代產(chǎn)品 Gen2plus 支持的最高傳輸已達 3200MT/s。隨著(zhù) JEDEC 組織不斷完善對 DDR5 內存接口產(chǎn)品的規格定義，DDR5 內存技術(shù)正在逐步實(shí)現對 DDR4 內存技術(shù)的更新和替代。

目前 DDR5 內存接口芯片已經(jīng)規劃了三個(gè)子代，支持速率分別是 4800MT/s、5600MT/s、6400MT/s，行業(yè)內預計后續可能還會(huì )有 1~2 個(gè)子代。

內存接口芯片按功能分為兩類(lèi)，分別為是寄存緩沖器（RCD）以及數據緩沖器（DB）。RCD 用來(lái)緩沖來(lái)自?xún)却?a target="_blank">控制器的地址、命令、控制信號，DB 用來(lái)緩沖來(lái)自?xún)却婵刂破骰騼却骖w粒的數據信號。

DDR5 內存模組升級帶來(lái)內存接口芯片及模組配套芯片新機遇。2016 年全球內存接口芯片市場(chǎng)規模約 2.8 億美元，2018 年達到約為 5.7 億美元，三年年化增長(cháng)率為 40%。DDR5 升級，將帶來(lái)內存接口芯片市場(chǎng)規模攀升。相較于 DDR4，由于 DDR5 支持速率更高、設計更為復雜，DDR5 第一子代內存接口芯片的起始單價(jià)比 DDR4 內存接口芯片更高。同時(shí)，隨著(zhù) DDR5 內存在服務(wù)器、PC 端的滲透率逐步提升，DDR5 相關(guān)內存接口芯片市場(chǎng)規模有望實(shí)現高速增長(cháng)。

內存接口芯片行業(yè)壁壘高，三足鼎立格局已經(jīng)形成。內存接口芯片是技術(shù)密集型行業(yè)，需要通過(guò) CPU、內存和 OEM 廠(chǎng)商的全方位嚴格驗證后，方可進(jìn)行大規模使用，新的玩家很難介入。隨著(zhù)技術(shù)難度不斷升級，內存接口芯片玩家從DDR2 世代的 10 多家到 DDR4 世代只剩 3 家，行業(yè)基本出清，三足鼎立格局已經(jīng)形成。在 DDR5 世代，全球只有三家供應商可提供 DDR5 第一子代的量產(chǎn)產(chǎn)品，分別是瀾起科技、瑞薩電子（IDT）和 Rambus。

審核編輯：黃飛

?