NVRAM可以消除I / O和內存瓶頸 并為百億億次存儲提供關鍵的推動力

節點非易失性內存（NVRAM）是一項改變游戲規則的技術，可以消除許多I / O和內存瓶頸，并為百億億次存儲提供關鍵的推動力。

這是歐洲NEXTGenIO項目的科學家和研究人員得出的結論，該項目是由歐洲委員會的Horizon 2020計劃資助的一項計劃，旨在探索這項新技術對高性能計算（HPC）的潛在影響。

“當您在計算節點中放置大量的高性能，字節可尋址的NVRAM時，一切都會發生變化，” EPCC高級研究員，愛丁堡大學超級計算中心以及34位軟件架構師的艾德里安·杰克遜（Adrian Jackson）說。 NEXTGenIO合作伙伴組織共同開發的節點原型平臺，以支持其研究?！坝嬎愎濣c既是存儲節點，又是存儲節點，您可以擴展I / O帶寬并以不同方式使用I / O。您需要正確的工具來訪問節點內的數據，但是您可以根據應用程序以不同的方式使用數據?！?/p>

對于像Tiago Quintino這樣的HPC用戶來說，這是令人興奮的，他在歐洲中型天氣預報中心（ECMWF）處理大量，快速增長的數據集。他說：“我們可以做的更多?！?“我們可以在內存中擁有更復雜的結構。我們可以在任何地方使用數據，而不必在整個工作流程中移動數據。隨著我們節省時間，我們可以運行更復雜的工作流程，進行更多的物理工作，提高模型分辨率。根據我們的數據增長（每兩年增長三倍）來推斷，基于此技術的I / O系統將使我適應未來的10-15年。它是改變游戲規則的人。

探索非易失性節點上的內存

除EPCC和ECMWF外，NEXTGenIO的合作伙伴還包括富士通，英特爾，巴塞羅那超級計算中心（BSC），德累斯頓工業大學，ARM和ARCTUR。他們共同設計的平臺遵循需求驅動的流程，該流程還規定了現實的約束條件。它具有一個定制的主板，該主板裝有3 TB的Intel Optane DC永久內存（DCPMM），雙第二代Intel Xeon可擴展處理器和192 GB的DRAM。Intel Optane DC內存作為駐留在內存總線上的標準DIMM托管，并且可以由CPU的集成內存控制器控制。節點還連接到兩個Intel Omni-Path高性能網絡，從而使MPI流量可以通過一個網絡傳播，而存儲通信可以跨另一個網絡傳播。

為該系統開發的軟件包括一個多節點，本地和分布式NVRAM文件系統，使舊應用程序可以透明地受益于新的內存/存儲層，而無需更改應用程序。分布式文件系統使用應用程序對象存儲來提供數據局部性并減少對并行文件系統（例如Lustre）的依賴。其他系統軟件包括性能分析和調試工具，以及SLURM計劃程序和工作負載管理器的擴展，用于管理數據局部性并將工作的能耗納入工作安置決策中。

富士通在其位于德國奧格斯堡的工廠制造了該系統和主板，該系統于2019年3月下旬在EPCC安裝。在未來三年內，NEXTGenIO合作者和精選I / O研究人員將可以使用該系統，這為歐洲提供了主要資源增進對重要的新存儲技術的理解和使用。

項目成員已開始共享初步結果，以證明該技術對各種HPC用例的影響。［1］這是三個例子。

ECMWF的集成預測系統：時間緊迫的工作流中的強大I / O

ECMWF總部位于英國，每天為全球客戶提供五到十五天，每天多次的天氣預報。其綜合預測系統（IFS）將其結果（每小時約25 TB）寫入ECMWF的分布式字段數據庫（FDB）。后續工作流程涉及數百個后處理步驟，其中許多步驟是并行進行的，需要快速訪問數據輸出。如果中央并行文件系統因其他工作負載而減慢了速度，則預測人員必須限制預測并減慢模型的速度。

使用NEXTGenIO平臺，ECMWF展示了將數據輸出到新型內存并顯著提高性能的能力。為了將IFS寫入ECMWF的字段數據庫，在具有288個Lustre Object的系統上，16個NEXTGenIO節點提供了60 GiB / s的讀取帶寬和72 GiB / s的寫入帶寬，而持續讀取吞吐量為22.4 GiB / s，寫入吞吐量為20 GiB / s。存儲服務（OST）節點，每個節點具有10個磁盤。它在工作流程中實現了端到端的改進，幅度超過了一個數量級。ECMWF期望在優化FDB代碼時看到進一步的改進。

CASTEP：內存需求量大，I / O最少

CASTEP是共享源軟件，使用密度泛函理論從第一原理計算材料特性。它用于多種材料和物質，包括DNA以及新奇的外來元素。

許多CASTEP仿真每個MPI進程都需要大量內存，超過了典型HPC系統的內存容量。這通常迫使用戶減少每個節點的MPI進程數量，使CPU不足，并在許多節點上運行仿真，以使仿真適合DRAM。

EPCC使用CASTEP在NEXTGenIO平臺上運行需要大量內存的DNA仿真，從而使僅使用DRAM的單個DNA仿真僅需要在單個節點上運行就需要20個節點，盡管速度要慢得多。在四個節點（表1）上，DCPMM的實現使用的時間減少了五倍，而執行速度卻比NEXTGenIO系統上的全DRAM執行速度慢了三倍。

實際意義是巨大的，它為HPC站點提供了經濟且省電的解決方案，即使對于內存需求超出計算需求的工作負載部署全DRAM平臺的替代方案也要慢一些。釋放的節點可以用于其他作業，從而優化整體吞吐量并增加成本優勢。

OpenFOAM：具有大量小文件的繁重I / O

OpenFOAM是一個開源3D計算流體動力學軟件包，實際上是從網格創建到后處理的復雜任務工作流中使用的應用程序的集合。

這里的挑戰不僅是數據的總量，而且是每個時間步寫入的大量小文件。為了探討這個問題，EPCC模擬了小型電動飛機周圍的氣流。在1000個時間步中，OpenFOAM被配置為每五個時間步寫入其結果。在16個節點上運行448個進程，中期結果達到806，400個文件和1.2 TB的數據。性能分析表明，在傳統的實現中，I / O消耗了50％的執行時間，從而嚴重限制了可伸縮性。

EPCC使用系統軟件將節點本地文件系統有效地安裝在計算節點的Intel Optane DC內存上。使用DCPMM作為存儲，并使系統軟件根據需要將數據移入或移出節點，然后將臨時結果寫入本地節點。這將整體運行時間減少了多達50％，并且優勢隨著規模的增加而增加。這些節省的運行時間為您提供了進行更多計算和探索更多解決方案的機會。

早期采用者的見解

NEXTGenIO合作者為HPC用戶和技術創新者提供了以下建議。

換個角度思考。Quintino說：“不要像判斷Lustre這樣的并行文件系統那樣來判斷這項技術?！?“盧斯特（Lustre）就像一輛卡車，它在緩慢移動大量數據。給定大量卡車，您可以移動大量數據并具有大量吞吐量。這是一級方程式賽車，是I / O系統的巔峰之作。它可以是分層系統中的第一層，也可以是突發緩沖區，但是我們應該進一步考慮。它打開了我們從未想過的工作流程?！?/p>

保持好奇心?？紤]一下哪些用例與您的工作負載和數據中心挑戰有關?！霸贓CMWF，DCPMM是存儲層次結構的一部分，” Jackson說?！捌渌麘贸绦蚩梢詫⑵溆米魑募鎯?，也可以用作使用內存執行常規并行I / O的多節點文件系統。有些人正在使用它來創建更大的內存空間，因此他們可以將問題放在單個節點上，而不是20或30個節點上。利用DCPMM需要對應用程序進行認真的思考和設計，但是好處可能很大?！?/p>

愿意做一些工作。Quintino將Intel Optane DC永久內存與GPU進行了比較，后者需要進行一些代碼修改才能完全受益。盡管可以直接使用DCPMM，而無需修改代碼，但是許多應用程序將從顯式控制內存中受益。英特爾提供工具和庫，以方便使用內存的全部功能集。

一種做更多科學的方法

NEXTGenIO平臺將供研究目標與NEXTGenIO項目的研究目標兼容的HPC用戶使用。富士通為某些PRIMERGY和PRIMEQUEST型號提供了新的存儲類別，其技術團隊在與客戶協商時正在運用其NEXTGenIO知識。

EPCC資深研究員兼NEXTGenIO項目經理MichèleWeiland表示，英特爾Optane DC永久內存和NEXTGenIO合作伙伴添加的創新標志著HPC領域的可喜變化。她說：“ ？？DCPMM代表了內存，I / O和存儲系統在未來幾年內將如何發展的格局變化?！?“它可能表明我們目前看不到的問題還有解決的辦法。對于在當前的傳統HPC系統中苦苦掙扎，沒有足夠的內存或足夠快的存儲空間或受可寫數據量限制的人來說，這種方法可能會為他們提供一種改善方法，并做更多的事情科學?！?/p>