英偉達DPU開發者生態日益增長 第二屆黑客松大賽打開更豐富應用場景

在日前舉行的線上媒體會上，NVIDIA 網絡市場總監孟慶和網絡技術專家崔巖向媒體介紹了最新公布的project Monterey以及DPU開發者們非常關注的即將在10月下旬舉行的黑客松競賽的情況。以下是電子發燒友網的記者的獨家報道。

DPU、AI發展迅猛，網絡算力從CPU卸載到DPU

NVIDIA 網絡市場總監孟慶在開場表示，在GTC之前舉辦的VMware Explore大會上，NVIDIA CEO黃仁勛先生和Vmware CEO一起發布了重要的網絡相關產品和技術以及Monterey解決方案。DPU已經從英偉達的產品名稱，變成了一個行業事實上的通用術語，“最近，在國內市場上發現有很多聲音討論DPU，討論2019年我們提出的概念，大家逐漸接受，并且把它變成行業術語繼續去使用?！?br />
黃仁勛先生曾多次提到過CPU發展逐漸放緩，摩爾定律似乎已經失效。以前老的DIY從業者會感受到CPU包括至強、包括PC每一代性能、晶體管數量日新月異，上一代比下一代高一倍以上的性能。再看今天一代代新的CPU，不管是消費級還是企業級能高出30-40%已經算非常高的一個成績了。多數情況下更新一代只高出百分之十幾，這和制程、架構設計有關、也和應用有關。

反觀數據中心，在火熱的人工智能市場、云計算市場，行業把更多的算力卸載到GPU，卸載到相應的各種各樣的協處理器上。最多的GPU用在像人工智能、推理訓練，包括一些企業用它做更復雜的通用計算，這就產生了非常多的數據流量。而數據中心越來越演變成人工智能的中心，不管在后臺的訓練，在前臺，大家打開購物軟件搜索關鍵詞，立刻告訴你這是什么，搜出相關的產品，所有的圖形識別、所有的語義分析、推薦購物全部把數據導流到后臺，在數據中心里推演。

“所以，我們認為數據中心正在演化為一個AI工廠，很多AI應用經常打開幾秒就關了，這樣每一次激活APP誕生多個容器，瞬間打開關閉，對數據中心和后臺就是一個個突發的小峰值，如果大家上下班坐地鐵會形成更大的峰值。這對數據中心來說都是前所未有的挑戰，而在里面負責網絡流量的，不管是交換機、智能網卡，他們也面臨很大的負荷?！泵蠎c解釋道。

“我們發現很多CPU的處理工作、擁塞都發生在了數據搬運、發生在流量分發、發生在云里、在AI的過程中。DPU（數據處理器）應運而生，它處理的就是數據，數據流量越大越需要DPU。最先部署DPU的可能是一些云服務商，包括BAT、京東、字節等等公司，海外有微軟這種大型企業，他們面臨大量的數據，他們需要用像DPU這樣的東西幫助他們做預處理，幫助他們區分每一個用戶做的信息隔離，還有一些安全問題，這就是DPU誕生的環境?！?br />
從推出DPU到今天，可能到明年初NVIDIA BlueField-3 DPU將更多的被各個企業所應用，這里也和生態環境，軟件和相關解決方案有關。

關于VMware Explore上的Project Monterey補充說明

在不久前的VMware Explore大會上，NVIDIA、VMware和戴爾聯合發布Project Monterey的平臺。英傳達技術專家崔巖也對此作了補充和細節的說明。


目前Project Monterey的三大應用，包括簡化基礎設施和工作負載管理、提高基礎設施效率（性能和功能）、借助零信任模式加強基礎設施安全。

Project Monterey是將vSphere 8企業工作負載平臺，把它和NVIDIA BlueField DPU進行結合，在戴爾Power Edge服務器或VxRail超融合架構一體機上做運行，這樣就可以有效的把NVIDIA BlueField DPU、GPU和NVIDIA Enterprise AI軟件，針對vSphere 8做負載優化，在運行一些AI軟件時，也可以把vSphere 8的一些功能，卸載、加速和隔離到NVIDIA BlueField DPU，這就是Project Monterey為未來的AI和現代應用程序工作負載重新構建一個現代的數據中心。既包括用于GPU的vSphere 8上的新功能來支持更強大的AI和機器學習的模型，更快的訓練速度，同時也簡化云和邊緣環境上的管理。

上面是比較完整的Project Monterey的架構。在VMware vSphere 8里有一個叫做Cloud Foundation云基礎架構組件，這個組件和NVIDIA BlueField DPU進行比較好的結合，這張圖上都是相當于跑在虛擬機上的這些應用，可以有不同的應用在系統平臺上跑。



如果大家經?？碊PU的介紹會看過這張圖。這是NVIDIA BlueField DPU在vSphere體系中主要卸載的作用。在基礎設施方面主要有四大架構：對基礎設施管理、存儲、安全、網絡。在傳統的服務器中，CPU要做這四個方面的工作，管理基礎設施，整個基礎設施管理、軟件定義的安全、軟件定義的存儲、軟件定義的網絡都是由CPU承擔工作負載的，所以它在上面分出相應計算資源放到基礎設施的操作上來，所以它在虛擬機和容器支持的數量和能力上就會受到一定性能上的限制。下面也是采用英偉達的智能網卡和加速引擎提供網絡上的服務。

當采用了NVIDIA BlueField DPU之后，CPU可以零介入基礎設施的部分，上述講的四大功能就卸載到了DPU。這里主要和vSphere配合的是有軟件定義的安全、軟件定義的網絡和整體性能加速的部分，將給上層應用提供更好的基礎設施的支撐。CPU資源會更好的支撐客戶業務應用，有更多支持虛機和容器的能力，這是整個NVIDIA BlueField DPU的作用。


加速下一代防火墻。這張圖強調除了很好的支持vSphere8之外，在NSX網絡和安全的組件上也有很好的支撐，現在已經實現了NSX下一代防火墻功能，已經卸載到了DPU之上，后續的入侵檢測、入侵防御等安全策略功能也會逐漸在DPU上實現，這將和VMware整個多云架構、企業應用有更加緊密的解決方案，能夠讓企業用戶直接采用，享受NVIDIA BlueField DPU帶來的性能上的回報。

關于Project Monterey主要的收益，總結下來主要體現在以下幾點：通過 NVIDIA BlueField DPU 來節省主機 CPU 內核，等同于節省了 22% 的主機 CPU 內核消耗，使服務器性能效率得到了提升，可將釋放出來的 CPU 內核來運行應用程序，并在三年的生命周期中提供 5倍的投資回報。

DPU好處這么多，除BAT等互聯網巨頭外，還適合什么樣的企業去部署？

DPU對于BAT、頭條這樣的企業和開發者已經不是新鮮名詞，但它具體能給企業帶來什么樣的好處，除互聯網巨頭外，還有哪些企業適合采用或將來有機會采用到DPU呢？成本是不是可以接受？開發者社群有沒有培育起來？電子發燒友網記者在會議中向英偉達的專家提出來這個問題，英偉達網絡技術專家崔巖對此作了回應和解答。

崔巖表示，在前面講到的像BAT或字節這樣的公司，在數據中心里面大批量采用DPU主要還是在做公有云相應的云服務上面，他們的規模相對比較大，去通過DPU提升他們數據中心基礎設施上的性能，能夠更好的釋放CPU的資源，能夠給客戶提供更好的公有云服務。

其他互聯網類型的公司，像現在看到的做元宇宙類的公司，或者提供相應應用平臺的公司，有AI識別，不管是語音、視頻或者圖像的都會需要在數據中心中產生或者處理大量的數據。所以它就會需要DPU從基礎設施的角度做卸載、隔離和加速。除了大規模的應用之外，其他類型的互聯網公司也會在數據中心中去部署。再往其他行業里看，日后企業在多云環境下，其自身的私有云和混合云體系下也要部署和采用DPU，這是整個大勢所趨。


關于2022年第二屆英偉達DPU黑客松大賽

和上一屆的安排一樣，2022英偉達DPU黑客松大賽，仍然會有一個開幕式和訓練營的活動，之后會進入到24小時的比賽環節，比賽中各個團隊將投入到創新應用的開發之中，到第二天10月23日上午，是每個團隊現場比賽的演示，他們將對自己做的課題做一個整體展示，后面會有中國的本地評委和國際評委對他們的比賽結果進行評分，在10月24日周一公布比賽結果。

組委會將邀請到本地5位評委，從基礎架構、軟件開發、行業應用角度來看待這些開發團隊所做的項目和呈現的結果。整個結果最后會提交給國際評委，他們從創新角度和其他應用的角度做一個評分， 從五個方面，訓練營參與度、項目完成度、項目創新價值及題目匹配度，最后是現場演示的效果。

對于這場DPU開發者們的年度大賽，崔巖認為NVIDIA DPU 中國黑客松最大的價值就是讓開發者有機會深入了解 NVIDIA BlueField DPU 和 NVIDIA DOCA 軟件框架，并構建創新的加速應用程序，實現 NVIDIA BlueField DPU 在人工智能、網絡、存儲和安全方面的獨特功能，驅動 NVIDIA BlueField DPU 在各行業應用場景中的廣泛應用。參與活動的團隊和開發者不但可以學習到相關的知識和技能，還可以構建以 DPU 技術應用為核心的人際網絡，并與 NVIDIA 專家進行交流，更有助于將創新想法變成現實。

談到今年秋季的DPU黑客松對比上一屆的亮點，他表示2022 秋季 NVIDIA DPU 中國黑客松以 RDMA 技術為核心題目，基于 InfiniBand 網絡來實現對存儲和人工智能應用的加速，同時將這種低延遲、高性能的IO 能力聚焦到一些行業應用場景中，比如金融的高頻交易等。

每次參加英偉達AI和DPU相關的媒體活動，都讓我們感受到了最前沿的技術的迅猛變化，電子發燒友網記者也認為，這個技術不會僅影響到頭部互聯網公司巨頭，一定會對其他的網絡公司，或者是使用到網絡的公司開發者有幫助。對于DPU未來將會給網絡技術帶來的影響，您怎么看？
（全文完）