分布式網絡存儲系統的具體情況是怎么樣的？

什么是分布式存儲系統

分布式存儲系統，是將數據分散存儲在多臺獨立的設備上。傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網絡存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。

區塊鏈與分布式存儲

區塊鏈是通過分布式節點的存儲資源，對全網全節點進行存儲同步，并通過相應的共識技術保證內部節點對存儲內容更改的有效性，維護一個完整的可查找的數據庫。在此系統中，存儲的都是鏈內生成賬戶之間余額的更改或者總剩余，當然，更完善的一些系統功能也包括存儲了多個賬戶對數據庫中子賬目的數據狀態維護。

因此，該系統的主要功能是記錄狀態的改變，然后同步。對節點來說，無論是PoW、PoS還是PoX，其核心的要求就是遵循特定的投票規則，將新的變動同步在所有節點的存儲中。

如果一個系統使用的是區塊鏈結構，那么它是不支持用戶個人數據，或者說不支持我們希望實現價值的數據的，區塊鏈上的數據是賬戶數據以及結算數據，這些數據是完全相同地存儲到每一個節點中的。

分布式存儲系統的關鍵技術

元數據管理

在大數據環境下，元數據的體量也非常大，元數據的存取性能是整個分布式文件系統性能的關鍵。常見的元數據管理可以分為集中式和分布式元數據管理架構。集中式元數據管理架構采用單一的元數據服務器，實現簡單．但是存在單點故障等問題。分布式元數據管理架構則將元數據分散在多個結點上．進而解決了元數據服務器的性能瓶頸等問題．并提高了元數據管理架構的可擴展性，但實現較為復雜，并引入了元數據一致性的問題。另外，還有一種無元數據服務器的分布式架構，通過在線算法組織數據，不需要專用的元數據服務器。但是該架構對數據一致性的保障很困難．實現較為復雜。文件目錄遍歷操作效率低下，并且缺乏文件系統全局監控管理功能。

系統彈性擴展技術

在大數據環境下，數據規模和復雜度的增加往往非常迅速，對系統的擴展性能要求較高。實現存儲系統的高可擴展性首先要解決兩個方面的重要問題，包含元數據的分配和數據的透明遷移。元數據的分配主要通過靜態子樹劃分技術實現，后者則側重數據遷移算法的優化。此外，大數據存儲體系規模龐大．結點失效率高，因此還需要完成一定的自適應管理功能。系統必須能夠根據數據量和計算的工作量估算所需要的結點個數，并動態地將數據在結點間遷移。以實現負載均衡；同時．結點失效時，數據必須可以通過副本等機制進行恢復，不能對上層應用產生影響。

存儲層級內的優化技術構建存儲系統時．需要基于成本和性能來考慮，因此存儲系統通常采用多層不同性價比的存儲器件組成存儲層次結構。大數據的規模大，因此構建高效合理的存儲層次結構，可以在保證系統性能的前提下，降低系統能耗和構建成本，利用數據訪問局部性原理．可以從兩個方面對存儲層次結構進行優化。從提高性能的角度，可以通過分析應用特征，識別熱點數據并對其進行緩存或預取，通過高效的緩存預取算法和合理的緩存容量配比，以提高訪問性能。從降低成本的角度，采用信息生命周期管理方法，將訪問頻率低的冷數據遷移到低速廉價存儲設備上，可以在小幅犧牲系統整體性能的基礎上，大幅降低系統的構建成本和能耗。針對應用和負載的存儲優化技術

傳統數據存儲模型需要支持盡可能多的應用，因此需要具備較好的通用性。大數據具有大規模、高動態及快速處理等特性，通用的數據存儲模型通常并不是最能提高應用性能的模型．而大數據存儲系統對上層應用性能的關注遠遠超過對通用性的追求。針對應用和負載來優化存儲，就是將數據存儲與應用耦合。簡化或擴展分布式文件系統的功能，根據特定應用、特定負載、特定的計算模型對文件系統進行定制和深度優化，使應用達到最佳性能。這類優化技術在谷歌、Facebook等互聯網公司的內部存儲系統上，管理超過千萬億字節級別的大數據，能夠達到非常高的性能。

分布式存儲系統的難點

一致性

分布式存儲系統需要使用多臺服務器共同存儲數據，而隨著服務器數量的增加，服務器出現故障的概率也在不斷增加。為了保證在有服務器出現故障的情況下系統仍然可用。一般做法是把一個數據分成多份存儲在不同的服務器中。但是由于故障和并行存儲等情況的存在，同一個數據的多個副本之間可能存在不一致的情況。這里稱保證多個副本的數據完全一致的性質為一致性。

可用性

分布式存儲系統需要多臺服務器同時工作。當服務器數量增多時，其中的一些服務器出現故障是在所難免的。我們希望這樣的情況不會對整個系統造成太大的影響。在系統中的一部分節點出現故障之后，系統的整體不影響客服端的讀/寫請求稱為可用性。

分區容錯性

分布式存儲系統中的多臺服務器通過網絡進行連接。但是我們無法保證網絡是一直通暢的，分布式系統需要具有一定的容錯性來處理網絡故障帶來的問題。一個令人滿意的情況是，當一個網絡因為故障而分解為多個部分的時候，分布式存儲系統仍然能夠工作。

分布式存儲的未來展望

存儲技術發展日新月異，五年后或十年后，分布式存儲到底會是一個什么樣子？這里不妨大膽展望一下。

1、超高Scale-Out擴展能力：單一EB級存儲系統，支持萬級集群規模，可全球范圍內全局部署；

2、 CompuStor超融合：類似Nutanix架構，計算、存儲，甚至應用高度融合；

3、 閃存技術應用：從主存、Cache到Tier分層，閃存無處不在；

4、 高速網絡互連：四/十萬兆以太網和Infiniband網絡得到普及；

5、 應用感知：I/O更加智能，性能和效率動態自適應和優化；

6、糾錯碼技術：基于糾錯碼提供可用性，復制技術作為輔助；

7、 Online消重/壓縮：成為系統標準配置，提高存儲效率；

8、 統一存儲：池化存儲，同時支持對象、塊和文件存儲。