為什么說“眾核異構計算”是必然趨勢？

經常有朋友問，“為什么認為眾核異構計算是必然趨勢呢？”。實際上這個問題在業內已經是共識了，所以本文希望從更淺顯的角度來解釋這個問題。

首先，需要解釋“為什么當下正處于算力大爆炸時代”

> 越強大的人工智能，需要以越強的算力為基礎。

1）這如同互聯網時代的爆發，是建立在龐大的云服務器集群為前提。這些服務器向用戶提供視頻/圖片/文字內容的海量訪問需求。而人工智能時代，算力建設成為新基建的基礎建設。

2）以目前人臉識別、視頻結構化這種深度學習算法舉例，實際上我們已經在云端推理和訓練投入大量的計算資源，服務于公共安全、門禁、金融系統等領域，也成為了Intel、AMD和英偉達新的營收增長點。而，正在獲得突破性進展的領域，對算力的需求將更大：例如自動駕駛、醫藥研發、量化交易、基因工程、知識圖譜、數字孿生、工業軟件、智慧城市等領域。

>算力時代，行業競爭的決定因素是“算力+算法”。

1）以金融市場博弈為例，以前決定各方成敗的是否擁有“最強的大（人）腦”，10個、100個、還是1000優秀交易員。而正在到來的時代是，你方是否擁有最優秀的算法+更強的算力，決定了你方能處理的信息維度，數據規模，從而擁有更準確的預測和最快的決策速度。

2）和傳統的商業世界一樣，服務質量和速度將決定一個公司的成敗。在未來這些優勢將自于“不斷演進的算法”和“更強大的算力基建投入”。一個國家在數字經濟的優勢，也將來自于此。

> 算力時代，科研領域競爭的決定因素是“算力+高端科研人才”。

1）這里以Google的Summit超算集群和DeepMind所帶來的科研突破舉例：

a. 攻克生物學界50年來的重大難題——蛋白質折疊預測；

b. 在第一性原理分子動力學中引入機器學習的模擬方法將模擬的時間尺度提高了至少1000倍，體系規模提升至少100倍（2020年戈登貝爾獎.賈偉樂）；

c.QMCPACK利用Summit，使得研究體系可以包含數百個原子，為研究更實用的超導體提供極大的幫助；

d. 為“戰勝”癌癥，需要研究基因、生物標記物與環境之間隱藏(目前未知)的關系。融合已有的健康數據、非結構數據如文本型的報告、醫學影像等，利用機器學習算法，在Summit上對美國的癌癥群體進行更全面的分析；

e. 利用Summit，可以確定人類蛋白和細胞系統的功能、協同和進化的模式。這些模式可以幫助研究臨床表型、疾病的可見性狀（例如老年癡呆癥、心臟病和成癮）的形成，并為藥物發現過程提供支持；

f. 利用Summit,FLASH可以進行長達數千倍時間內對多達12倍的元素種類進行高分辨率的模擬。

算力大爆炸，正在為科研領域取得顛覆性成果提供算力保障。反之，如果我們今天的高性能計算水平仍停留在十年前的水平，今天所見的激動人心的技術突破幾乎是不可能的。

2）以上的例證希望說明兩個問題：第一，國家需要建設更強大的超算集群，科研人員才有可能在前沿領域取得突破性研究成果。小米加步槍能取得勝利的可能性幾乎為零，由此知識產權的布局依然將受制于人。第二，以前稱之為超算，今天已經稱之為智算，其原因是HPC+AI正在成為新的研究范式，即科學計算融合深度學習算法。

3 ）在軍事領域，我們也看到了多傳感器、多數據鏈融合，利用深度學習算法提升戰場智能化水平；還有如密碼學對于通訊的意義；空氣動力學對于大裝備的意義等等。

4）可以遇見，未來在國家重點實驗室、科研院所、985/211高校將迎來智算建設的新高潮。原因？因為科研人員主要就在這些地方。

> 區塊鏈、量子霸權、元宇宙等概念，背后都將是以龐大的算力為依托。

那么，如何獲得更強大的算力呢？

> 一直以來，行業依托于半導體工藝、制程以及Chiplet最先進的封裝技術，在時鐘速度、集成密度、片上集成方法可以獲得更高的算力。然而硅基芯片工藝達到3nm后，摩爾定律是否將失效？所以今天大家開始在研究“后摩爾時代”。

> 計算機架構的演進，是另外一種重要手段。

1）傳統手法：cache增加，指令集擴展，協處理器，多核等。例如，為了增加x86的多媒體處理能力，于是有了MMX擴展指令集；為了兼顧功耗、成本和視頻編解碼性能，有了專門的H.264/265協處理器IP，這里就不再贅述了。

2）專用處理器：CPU在通用計算領域的角色無可替代，目前的主要指令集有x86（Intel、AMD、海光等少數幾家），arm（有鈔能力的公司都可以買來解決計算芯片設計的主要問題，鈔票越多能買到越強的IP授權，指令集授權則更貴），RISC-V（開源指令集，后起之秀）。但CPU面對一些大規模、并行運算時已經顯得力不從心、成本也劃不來。所以出現了GPU，NPU，DPU這類專用計算處理器，GPU擅長圖像處理，NPU擅長深度學習算法處理，DPU擅長數據處理。講到GPU、NPU、DPU這三個名詞，實際上這個體系非常復雜，無法用類似CPU三種指令集這樣去簡單概述，在這個領域各家芯片的架構差異、標稱性能都非常大，用萬馬奔騰比較合適。在這個領域目前最優秀者無疑是英偉達，追趕者內心的壓力是巨大的。要不是中美貿易戰的大背景，我想業者還是投資領域，誰能敢奢望去挑戰？

3）片上的眾核異構：CPU單核計算性能提升已經越來越不能滿足應用對計算性能需求、功耗的控制、成本的控制的需求，所以“片上眾核異構”應勢興起。這帶來了許多的優勢，共享內存、各計算單元之間實現更高速的數據通訊、均衡的功耗控制。最近熱炒的Apple M1/M1 pro/M1 Max是一個很好的范例。

4）整機的異構計算，是以CPU板卡為主，在機箱內增加各種專用的計算板卡，以增強服務器在某些特定領域的計算能力。例如插上GPU板卡增強服務器的圖像處理能力，插上NPU板卡增加服務器的深度學習算法的處理能力，插上GPGPU板卡增加科學計算的處理能力，CPU+存儲卡+NPU卡就是我們經常聽到的“近存計算”。

如何駕馭和挖掘算力？

我們正在擁有越發強大和越發復雜的計算硬件，另外一邊是復雜而龐大的高性能計算應用軟件體系（科學計算、各種深度學習算法、各種運行框架runtime等），一些是已經成熟而知名的軟件，另外一些是正處于青春期的各種算法和創新應用。那么，應該如何將這兩者能融合起來呢？這個事情是簡單還是復雜的呢？

1）如果硬件和軟件無法融合，那么硬件性能將被白白浪費掉。比方說你投了5nm的芯片，在計算許多場景時可能還比不過別人28nm時代的速度和效率，更糟糕的情況是出現計算精度不夠，或者完全不支持某些成熟軟件的運行。（計算精度？我的卡可是支持FP32的，這里可能大家有所不知，如果是加減乘除這種四則運算當然不會有什么問題，但如果讓求解三角函數，反三角函數，雙曲函數等，這些都是軟件算法在另外一個層面決定了計算精度和計算速度。||更深一點層面，計算并行優化決定了許多算法和工業軟件是否能運行在GPU、NPU這類專用處理器，沒有這部分工作，這些加速卡將毫無用處。NVIDIA在這方面軟件投入了海量的資金、長期的時間和優秀的人才，我國的計算硬件的短板已經顯現出來的。

2）如果持續創新的算法與軟件，無法與已經投入的硬件進行適配和融合，那么這些硬件資產的價值將被白白浪費掉了。近一步而言，硬件資產一旦投入，就無法變化。但算法和軟件是高速發展和發散性的，如何讓客戶的硬件資產持續發揮價值，這需要算力基礎軟件棧進行更長期和持續的工作。遺憾的是，我看到許多智算/超算平臺的政府規劃文件，里面并沒有為此去單列預算出來。從商業角度而言，硬件商本質就是賣硬件的，那么誰將應該為此提供長期的費用呢？我們更是低估了這個層面的難度以及持續投入。

3）如果我們用“云存儲的投資建設”邏輯來對照“算力的投資建設”邏輯，這必然會走入誤區。云存儲是一個相對于簡單業務場景，單調而成熟的技術體系?！按媾c不存，硬盤就在哪里！” vs "算與不算，算力就在哪里！” 這背后是完全不同的技術邏輯。

> 算力基礎軟件棧是“越發強大和越發復雜的計算硬件”與“復雜而龐大的高性能計算應用軟件體系”的技術橋梁。其主要包括數學庫、算子庫、科學計算庫、求解器等，還包括AI和異構計算框架/或叫引擎，編程語言/編譯器。我國由于歷史原因，以前缺乏對處理器領域的投資，所以這個層面的基礎軟件技術積累幾乎為零，人才儲備也幾乎為零。形象地說，計算大芯片是一棟大廈的地基，那么算力基礎軟件棧是先進計算的第一層，是大堂，是服務中心所在。

“2022年3月30日，國際計算機協會（ACM）宣布Jack Dongarra為2021年ACM 圖靈獎獲得者，以表彰他在數值算法和庫方面的開創性貢獻，這些貢獻使高性能計算軟件在四十多年里能夠跟上硬件的指數式改進?！?/p>

> 軟件生態的意義。生態的意義主要在于兩方面，一是，讓應用開發者不需要過多考慮硬件平臺的差異性，便捷地使用算力，專注于研究自己所需要解決的問題；二是，讓應用開發者形成的軟件資產，可以直接部署和運行在各種異構計算的平臺。圍繞算力時代，整個行業仍有很遠的路要走，巨頭也只是提前了一點在積極布局，例如Intel的OneAPI，AMD的Rocm，NVIDIA的CUDA等等。作為國產自主可控的發展理念，我們仍有機會去追趕并超越，我們應該如何應對呢？

結束語：這個行業里，因為各種原因故意忽略/隱瞞基礎計算軟件棧的難度和價值，這其實并不利于整個計算產業鏈的健全和健康發展。