這是一個數據急劇膨脹的時代。隨著數字化轉型的不斷推進,更新的技術和平臺也在不斷涌現,從而導致了數據的爆炸。我們可以看到在數據鏈條上大量的數據在終端產生之后會轉移到我們的云核心或者邊緣的數據中心,對于數據存儲的難度和管理難度都大幅度增長,如何應對這一問題,成為業界關注的重點。
秉承著賦能定制化、開放且可擴展的數據中心架構的核心使命,西部數據公司(NASDAQ:WDC)日前宣布推出分區存儲技術,旨在為云和超大規模數據中心架構師融合創新與行業標準,從而設計出高效的存儲層,幫助用戶在ZB級容量的存儲時代保持具有競爭力的總體擁有成本,實現更大的規模效益。
全球數據將進入ZB時代
隨著自動駕駛技術、IoT、智慧城市的落地以及未來5G的普及,數據量正在瘋狂的增長。據IDC一組數據顯示,全球在2010年正式進入ZB時代,并以40%的速度增長著,預計2020年全球數據量將達到35ZB,也間接意味著全球數據將進入ZB時代。
不僅如此,IDC報告指出,預計從2023年起,企業、機器、工業、消費、科學等領域每年產生的數據量將高達103ZB*。
然而,在ZB大數據的時代,根據應用所采用的定制化仍然是停留在系統的層面,它的定制化的能力和需求并沒有延展到我們的硬件部件當中,HDD、SSD存儲數據、轉移數據的管理方式仍然是在部件層面實現,通過部件層面存儲期的固件來管理數據的存放。
這樣的存儲架構效率低下,并且在面對越來越多的工作負載、應用和數據集時,可能會產生巨大的資源需求和成本開銷,因此針對下一代數據發展,我們需要新的數據中心結構:可編程的去集群化基礎架構。
由于越來越多的數據具有順序寫入的特性,例如視頻、物聯網/邊緣數據、監控,以及可以分組或“分區化”成更大數據塊(如大型人工智能/機器學習數據集)的數據,這使我們可以加速推廣分區存儲設備,對工作負載進行合理優化,從而提高性能和效率,更早的實現總體擁有成本的降低。
分區存儲賦能存儲架構重構
分區存儲架構分區存儲架構賦能應用層、主機和存儲互相協調數據存放位置,以充分利用在SMRHDD上可以實現的最大存儲容量,以及在融入新興分區命名空間(ZNS)標準的NVMeSSD上可以實現的更好的耐久性和可預測的低延遲和QoS(服務質量)性能。
ZNS是NVMe標準規劃內的新特性,也是對SMR技術的補充,它讓開發人員在共同的軟件堆棧下可以不分存儲介質類型有效的調用SMR和ZNS。預計到2023年,西部數據公司將在SMR上提供50%的HDD容量,而客戶可以利用其SMR應用開發成果涵蓋高容量ZNSSSD。SMR和ZNS也將通過提供智能化應用架構成為當前和未來ZB級數據時代的關鍵基石。
IDC基礎架構系統、平臺與技術集團副總裁AshishNadkarni表示:“毫無疑問,我們的行業需要凝聚一心,尋求一種創造性的新方式來設計并構建面向未來的基礎架構,以便更智能及高效地優化工作負載、存儲和計算基礎架構。預計到2022年,HDD和SSD的總金額將達到IT基礎架構總支出的27%,我們認為,對于云和超大規模數據中心客戶來說,SMR、和ZNSSSD是其優化基礎架構、實現更大規模經濟效益的良機。”
下快報新用戶必領6.2元
他進一步講到:“通過開放且標準化的方式統一ZNS和SMR架構是符合業界邏輯的一個進步,能夠利用SMRHDD面密度的增加和閃存技術創新的優勢。率先進入這一市場的用戶無疑能夠在總體擁有成本和學習曲線方面占得先機。”
SMR和ZNS正在從根本上重塑云和企業數據中心,以確保在未來能夠長期節約總體擁有成本。隨著生態系統的不斷發展和SMR的推廣,西部數據致力于在提供高容量的同時不斷演進能源輔助磁記錄技術。目前西部數據UltrastarDCHC620SMR15TB硬盤已批量出貨。
西部數據還宣布針對早期分區存儲工作而推出ZNS開發SSD。與傳統的NVMeSSD相比,ZNSNVMeSSD具有多種優勢。這些ZNSSSD符合NVMExpress公司定義并管理的ZNS功能集規范,旨在減少寫放大,增加可用容量,并提供更高的吞吐量和更低的時延。ZNSSSD通過將“區域”與SSD的內部物理屬性進行匹配而實現這些改進,有效的減少數據存放低效能的現象。
開源套件助推分區存儲落地
作為在NVMe聯盟持續做貢獻以及長期為開源社區提供基于SMR工具的自然延伸,西部數據特別推出了ZonedStorage.io。
“該網站與開源社區、客戶和行業參與者通力合作,目的是在開發人員社區內啟動應用開發計劃,幫助數據中心基礎架構工程師更好的利用分區存儲技術。”西部數據公司產品市場部副總裁朱海翔對記者介紹稱。
朱海翔表示:“ZonedStorage.io包括了適用于ZNS和SMR共生標準的開源工具和資源,提供有關西部數據UltrastarSMRHDD和新型UltrastarZNSNVMe開發的SSD信息,為管理定制化ZNSSSD和容量優化的SMRHDD提供了統一的框架。通過這一舉措,開發人員將對社區、行業參與者及支持者構成的蓬勃發展生態系統充滿信心,其中生態系統的成員已經包括ATTOTechnology、Broadcom、Mellanox和SUSE。”
除了推出ZonedStorage.io網站外,西部數據的產品套件還包括UltrastarZNSNVMe開發SSD和UltrastarDCHC620SMRHDD15TB。UltrastarDCHC62015TB現已推出并向已通過驗收的客戶批量供貨。UltrastarZNSNVMe開發SSD也將向部分客戶開放。
針對開源,西部數據公司特意強調,在整個開源套件的網站上,幾乎沒有任何的關于西部數據的logo或是軟性廣告等商業化內容。西部數據公司希望通過這種無商業的表態和方式,給予全球開發者信心和支持,同時更希望大家能夠攜手共進,推動分區存儲的落地。
此外,在今天的分區存儲技術媒體發布會上,西部數據展出了20TBSMRHDD,同時,此款20TB的機械硬盤,會將在2020年開始出貨。據介紹,此款基于SMR存儲技術大容量機械硬盤的誕生背景,其實是源于當下全球數據需求的爆發性增長,作為一款用于數據中心的SMR機械硬盤,20TB容量,相較于當下主流的14TB或是15TB,容量上雖然僅僅是增長了20%左右,可配合著分區存儲技術,同樣存儲1ZB數據的前提下,可以減少2500萬臺HDD,或是42000個60槽位的機架。