云存儲技術構架

　　云存儲是在云計算（cloud compuTIng）概念上延伸和發展出來的一個新的概念，是一種新興的網絡存儲技術， 是指通過集群應用、網絡技術或分布式文件系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的系統。當云計算系統運算和處理的核心是大量數據的存儲和管理時，云計算系統中就需要配置大量的存儲設備，那么云計算系統就轉變成為一個云存儲系統，所以云存儲是一個以數據存儲和管理為核心的云計算系統。簡單來說，云存儲就是將儲存資源放到云上供人存取的一種新興方案。使用者可以在任何時間、任何地方，透過任何可連網的裝置連接到云上方便地存取數據。

　　云存儲系統的結構模型：

　　1.存儲層：

　　存儲層是云存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備，可以是NAS和 iSCSI等IP存儲設備，也可以是 SCSI或SAS等 DAS存儲設備。云存儲中的存儲設備往往數量龐大且分布多不同地域。彼此之間通過廣域網、互聯網或者FC光纖通道網絡連接在一起。存儲設備之上是一個統一存儲設備管理系統，可以實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設備的狀態監控和故障維護。

　　2.基礎管理層：

　　基礎管理層是云存儲最核心的部分，也是云存儲中最難以實現的部分?；A管理層通過集群、分布式文件系統和網格計算等技術，實現云存儲中多個存儲設備之間的協同工作，使多個的存儲設備可以對外提供同一種服務，并提供更大更強更好的數據訪問性能。CDN內容分發系統、數據加密技術保證云存儲中的數據不會被未授權的用戶所訪問，同時，通過各種數據備份和容災技術和措施可以保證云存儲中的數據不會丟失，保證云存儲自身的安全和穩定。

　　3.應用接口層：

　　應用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據實際業務類型，開發不同的應用服務接口，提供不同的應用服務。比如視頻監控應用平臺、IPTV和視頻點播應用平臺、網絡硬盤應用平臺，遠程數據備份應用平臺等。

　　4.訪問層：

　　任何一個授權用戶都可以通過標準的公用應用接口來登錄云存儲系統，享受云存儲服務。云存儲運營單位不同，云存儲提供的訪問類型和訪問手段也不同。云存儲不是存儲，而是服務

　　就如同云狀的廣域網和互聯網一樣，云存儲對使用者來講，不是指某一個具體的設備，而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用云存儲，并不是使用某一個存儲設備，而是使用整個云存儲系統帶來的一種數據訪問服務。所以嚴格來講，云存儲不是存儲，而是一種服務。

　　云存儲的核心是應用軟件與存儲設備相結合，通過應用軟件來實現存儲設備向存儲服務的轉變。

　　云存儲系統的元數據管理模型

　　在云存儲架構中，根據對元數據的管理模型，可以將通用云存儲系統分為三種類型，即集中式元數據、分布式元數據和無元數據三種類型的系統。

　　1、集中式元數據云存儲系統

　　集中式元數據云存儲系統是一種典型的非對稱式系統，在系統中，通常具有一個中央元數據管理服務器，負責元數據的存儲和處理查詢與修改請求，例如，在HDFS系統中，該元數據管理服務器即為名字節點Namenode，同時，存在大量的數據存儲節點提供客戶I/O數據的并行存儲與訪問。這種架構中，客戶端每次對數據流的I/O操作，都需要先向元數據管理服務器進行元數據查詢，客戶端在獲得需要讀寫的數據塊物理位置等信息后，對于數據的I/O操作則直接在客戶端和數據存儲節點之間進行。相對傳統存儲系統，集中元數據云存儲系統將控制流和數據流進行了分離，系統在擴展性和處理性能方面獲得了較大的提升，同時，由于元數據集中在一臺服務器上進行管理，整個系統架構比較簡單，降低了系統設計的復雜性，目前業界采用這種架構的系統主要有GFS、HDFS、Lustre等。

　　不難看出，雖然集中元數據云存儲系統架構簡單，但會存在兩個主要的問題：

　　性能瓶頸問題。元數據的基本特性要求任何時候對用戶數據的訪問，都需要同步地修改元數據，由于每次I/O訪問都需要首先訪問元數據服務器，隨著系統規模不斷擴大，需要管理的存儲節點、文件數量、I/O操作數量等都會急劇增加，而對元數據進行管理的物理服務器性能有限，從而形成性能瓶頸，這種性能瓶頸在大量小文件訪問時會更為突出。為解決這一問題，人們通常會采用更高性能的CPU，更大的內存，并且采用SSD來加速對元數據的訪問，雖然能夠在一定程度上提升元數據訪問性能，但成本極其高昂，且提升效果有限。

　　元數據服務器單點故障問題。在集中元數據云存儲系統中，整個系統的性能和可靠性完全依賴于元數據服務器，一旦元數據服務器故障，系統將無法提供任何服務，因此，元數據服務器就是整個系統中的潛在單點故障點。為解決這一問題，通常對元數據服務器采用備機形成HA解決方案來提供更高的系統可用性，主用服務器和備用服務器之間的元數據必須隨時同步，否則一旦主用服務器故障，則可能導致數據不一致問題，但元數據同步操作會進一步加重了元數據服務器的性能負擔，導致整個系統的訪問性能受到拖累，而且也無法徹底解決腦裂問題。

　　2、分布式元數據云存儲系統

　　為了解決集中元數據系統中的性能瓶頸和單點故障問題，一種改進后的分布式元數據云存儲系統得以出現，這種系統采用多臺元數據服務器形成集群工作的方式提供元數據訪問服務，集群中的每一臺設備都可以提供元數據訪問，從而提高整體訪問性能，并且解決了元數據服務器單點故障問題。分布式云存儲系統需要在所有元數據存儲節點之間進行元數據同步操作，這大大增加了系統設計的復雜性，在同步期間往往需要進行各種加鎖，而加鎖機制的存在導致部分任務難以并行運行，從而拖慢了整個系統的性能，此外，如果元數據沒有及時得到同步，或者遭到意外破壞，則會出現同一文件或者對象的元數據不一致，進一步導致上層應用在通過不同物理服務器訪問文件或對象數據時出現數據不一致或者讀寫錯誤的問題，這種風險隨著云存儲系統規模的擴大而大幅增加，同樣，為了保證元數據同步的速度，需要采用高性能、大內存并且配備SSD的服務器，硬件成本非常昂貴。

　　3、無元數據云存儲系統

　　第三種云存儲系統則徹底拋棄元數據，而是采用算法來對文件或對象進行定位，并將該算法集成在每一個存儲節點上，客戶端從任何一個存儲節點進行數據訪問都會獲得同樣的結果，云存儲系統中的每一個存儲節點都可以獨立、并行地對外提供服務，從而真正實現性能隨節點數增加而線性擴展，由于無需在節點間進行元數據的同步操作，極大地提高了系統的穩定性和可靠性，在硬件成本方面，也相對低廉，可以用較低的建設成本獲得較高的讀寫性能。