【仿真百科】| 高性能計算（HPC）

高性能計算

高性能計算簡稱 HPC，是指利用聚集起來的計算能力來處理標準工作站無法完成的數據密集型計算任務，包括仿真、建模和渲染等。我們在處理各種計算問題時常常遇到這樣的情況：由于需要大量的運算，一臺通用的計算機無法在合理的時間內完成工作，或者由于所需的數據量過大而可用的資源有限，導致根本無法執行計算。HPC 方法通過使用專門或高端的硬件，或是將多個單元的計算能力進行整合，能夠有效地克服這些限制。將數據和運算相應地分布到多個單元中，這就需要引入并行 概念。就硬件配置而言，常用的類型有兩種：

共享內存計算機

分布式內存集群

在共享內存計算機上，所有處理單元都可以訪問隨機存取存儲器（RAM）；而在分布式內存集群中，不同的處理單元或節點 之間無法訪問內存。在使用分布式內存配置時，由于不同的處理單元不能訪問同一個內存空間，因此必須存在一個相互連接的網絡，才能在這些單元之間發送消息（或者使用其他通信機制）。鑒于有些單元共享共同的內存空間，而其他單元又是另一種情況，現代 HPC 系統通常是融合了這兩個概念的混合體。

混合并行計算能夠最大程度地發揮共享內存的性能優勢。

為什么要使用 HPC

使用 HPC 的原因主要體現在兩個方面。首先，隨著中央處理單元（CPU）和節點數量的不斷增加，人們可以使用的計算能力越來越多。有了強大的計算能力，就能在單位時間內執行更多運算，從而提高特定模型的計算速度。這就是我們所說的加速比。加速比通常定義為：同一個任務在并行系統的執行時間與在串行系統的執行時間的比值。加速比的上限取決于模型并行求解的程度。舉個例子，假設一個運算量固定的計算任務，其中 50% 的代碼可以并行執行。在這種情況下，理論最大加速比為 2。如果并行執行的代碼能夠上升至 95%，則理論最大加速比很可能達到 20。對于能夠實現完全并行的代碼，可以不斷向系統中添加計算單元，因此不存在理論上的最大限制。阿姆達爾定律對這一現象進行了解釋。

根據阿姆達爾定律得到的理論最大加速比。另一方面，在集群的情況下，可用的內存量通常以線性方式增加，同時包含更多的節點。如此一來，隨著計算單元數量的增加，就能夠處理越來越大的模型。這稱為擴展加速比。從某種意義上來說，運用這種方法可以對阿姆達爾定律提出的限制加以“欺騙”——該定律適用于固定大小的計算問題。將計算能力和內存提高一倍，就可以在相同的時間內完成大小為基本任務兩倍的計算任務。Gustafson-Barsis 定律對這一現象作出了解釋。

根據 Gustafson-Barsis 定律得到的理論最大加速比。

并行化

不同類型的建模問題具有不同的可并行程度。以參數化掃描為例，這種問題求解多個具有獨立的幾何、邊界條件或材料屬性的相似的模型，幾乎可以完全并行計算。具體的實現方法是為將每一個模型設置分配給一個計算單元。這類問題非常適合并行計算，因此通常稱為“易并行問題”（embarrassingly parallel problem）。易并行問題對集群中的網絡速度和延遲非常敏感。（在其他情況下，由于網絡速度不夠快，無法有效處理通信，很可能導致速度減慢。）因此，可以將通用硬件連接起來，加快這類問題的計算速度（例如，構建 Beowulf 集群）。

一個由六臺筆記本電腦和一臺舊交換機構成的 Beowulf 集群。有些問題可以分解為多個更小的部分，或者說是子問題。例如，可以通過數據分解（數據并行）或任務分解（任務并行）來進一步分解問題，通常這些子問題之間的耦合程度會直接影響它們的并行化程度。舉例來說，易并行問題便是一個幾乎可以完全解耦的問題，如前面討論的參數化掃描。而完全耦合問題的例子則是一個迭代過程 的計算必須以嚴格的串行方式進行。當多個子問題相互耦合時，由于一個子問題的中間結果可能依賴于其他子問題，因此不能單獨進行處理。我們需要通過信息交換（與原始串行問題相比，還包含一些其他工作）來處理這些依賴關系。共享內存或互連網絡可用于在不同的計算單元之間進行通信和同步。根據計算任務是在共享內存環境下還是在分布式內存環境下運行，有眾多因素會對可并行化以及潛在加速比產生影響。在多個節點上運行分布式內存仿真時，各個計算單元必須使用網絡進行通信。此時，網絡延遲和帶寬會進一步影響通信速度。正因如此，大多數 HPC 集群都配備了高帶寬/低延遲網絡，實現在集群的各個節點之間快速傳輸數據。