FITEE“新型存儲系統設計與應用”專題導讀

存儲系統是計算機的核心，在人工智能、大數據、云計算和物聯網等新興戰略產業的可持續發展中起著重要作用。隨著處理器和網絡設備性能不斷提高，存儲軟件棧成為限制數據密集型系統性能的主要因素。近年來，新型存儲設備因其打破“內存墻”的能力而受到廣泛關注。這些設備包括支持塊尋址的閃存設備、支持字節尋址的非易失性存儲器、存算一體化設備以及大容量光存儲。構建高吞量、低延遲和高可靠性的大規模存儲系統，需要對算法、軟件設計和硬件的持續創新。這些創新可以應對大規模、高性能復雜結構系統構建中存在的挑戰，還可以增加相關系統的構建和應用經驗，加快大數據處理系統的開發速度。

研究人員一直致力于解決“內存墻”問題，并改進相關軟硬件生態系統，從而在新型存儲系統設計和應用方面取得很大進展，包括但不限于以下方面：

1. 不斷推出和優化新型存儲設備，例如開放通道固態盤、可字節尋址的非易失性存儲器以及存算一體化設備。此外，陸續推出模擬器、仿真器和軟件定義設備開發平臺，促進了新型存儲設備的設計和優化。

2. 現有存儲軟件系統最初為硬盤或傳統固態硬盤而設計，不能充分發揮新型存儲設備性能潛力。針對新型存儲設備，設計了許多新型文件系統、存儲管理軟件、非關系型數據庫以及關鍵組件。

3. 利用新型存儲設備加速應用求解（如組合優化問題）和提升傳統存儲系統（如基于機械硬盤的糾刪碼存儲）性能。

在此背景下，《信息與電子工程前沿（英文）》期刊組織了本期“新型存儲系統設計與應用”專題。專題涵蓋針對新型存儲設備的輔助設計工具、各種存儲軟件、方法與相關應用，以及對新型存儲系統前沿進展和未來研究方向的綜述。經嚴格評審，選入7篇論文，包括1篇綜述和6篇研究。

張廣艷等從5個關鍵指標——吞吐量、延遲、壽命、性能隔離和資源利用率——對開放通道固態硬盤的設計和應用進行了全面綜述。首先從物理布局、閃存轉換層性質以及接口設計等方面介紹了開放通道固態硬盤，指出其性能優勢和進一步提升性能的機會。然后，詳細討論了發掘開放通道固態硬盤性能的方法，包括設計接口、協同設計閃存轉換層、利用內部并行性以及優化I/O調度和垃圾回收等。同時，討論了將這一領域的理論研究成果應用到實際部署時面臨的挑戰。此外，展望了開放通道固態硬盤的發展潛能。

盡管市場上固態硬盤的特性在迅速發展，但由于缺乏真實且可擴展的固態硬盤開發平臺，目前對閃存固件的研究主要基于模擬仿真。邵子力等提出一種軟件定義的固態硬盤開發平臺SoftSSD，用于快速設計閃存固件原型。SoftSSD的核心是一個具有事件驅動編程模型的新框架?？梢酝ㄟ^編程模型來部署新的閃存轉換層算法，并將其直接集成到全功能閃存固件中。SoftSSD已在實際硬件上實現，并在真實應用場景中進行測量。實驗表明，SoftSSD可以取得良好性能、可觀察性和可擴展性。SoftSSD的開源代碼已發布。

持久化內存和智能網卡這類新硬件的出現，給文件系統設計帶來新機遇。然而，如何利用持久化內存和智能網卡的特性仍是一項挑戰。楊倚天和陸游游設計并實現了一個名為NICFS的本地文件系統，該系統利用持久化內存的高吞吐量和字節尋址能力以及智能網卡的處理能力來改善文件系統性能，并減少主機CPU的使用。作者通過一系列實驗驗證了系統的性能、可擴展性和設計的每個部分的有效性。

持久化內存文件系統通過利用持久化內存的非易失性、字節可尋址性和與動態隨機存取存儲器相近的性能來實現高性能。然而，持久化內存文件系統存在寫入持久性有限的問題?，F有持久化內存文件系統中的空間管理策略會導致嚴重的磨損不均衡問題，迅速損壞底層持久化內存。張潤宇、劉鐸等提出一種高效的磨損均衡感知多粒度分配器WMAlloc。此外，提出一種基于位圖的多堆樹（BMT），通過避免遞歸分割和低效的堆搜索來優化WMAlloc，稱作WMAlloc-BMT，為底層持久化內存提升磨損均衡性的同時顯著降低空間管理開銷。文中通過大量實驗驗證了WMAlloc和WMAlloc-BMT的有效性。

可擴展哈希是管理大規模數據和提高存儲系統效率的有效方法。蔡濤等設計了一種用于非易失性存儲器的高并發可擴展哈希NEHASH，它使用具有懶惰擴展的多層哈希目錄來提高哈希目錄管理的并發度和效率。該研究優化了哈希目錄和哈希桶的管理策略，并將其分布在動態隨機存取存儲器和非易失性存儲器之間。相比現有可擴展哈希方案，NEHASH在多線程環境中實現了更高讀寫吞吐率。

糾刪碼具有更高存儲效率，但與副本相比，其更新開銷和修復成本也更高。此外，并發更新會使糾刪碼應用面臨一致性和可靠性挑戰。屠要峰、韓銀俊等提出一種數據更新與編碼解耦（DDUC）的糾刪碼存儲系統，該系統使用持久化內存實現輕量級日志機制，并將數據更新和糾刪碼編碼過程解耦。此外，提出一種副本和校驗塊相結合的數據放置策略，解決了由并發更新引起的數據可靠性降低問題，同時通過在校驗和節點上保存臨時冗余數據塊來確保高并發性能。

組合優化問題重要且常見，但許多組合優化問題是NP完全的?；煦缒M退火算法有效解決了組合優化問題。然而，一般計算平臺無法有效執行該算法。孫廣宇等提出一種軟硬件協同優化方案。首先，對算法實現作了修改，使其在保持高效率的同時對硬件更加友好。然后，設計了一種名為COPPER的硬件架構，使用憶阻器進行存內計算。COPPER可有效運行混沌模擬退火算法，并顯著提高計算速度和能效。

總體而言，本專題涵蓋了許多與新型存儲系統設計和應用相關的最新研究課題，包括新型存儲設備和軟件定義的設備開發平臺、為新存儲設備設計的文件系統、文件系統中的存儲分配器、非易失存儲器的可擴展散列以及新設備的應用，相信對新型存儲系統及相關領域感興趣的人員能夠從中受益。

本文編譯自 Zhang GY， Feng D， Li KQ， et al.， 2023. Design and application of new storage systems. Front Inform Technol Electron Eng， 24（5）：633-636. https://doi.org/10.1631/FITEE.2310000