憑證文件的儲存方式三種?
劃重點
三種存儲方式:DAS、SAN、NAS
三種存儲類型:塊存儲、文件存儲、對象存儲
塊存儲和文件存儲是我們比較熟悉的兩種主流的存儲類型,而對象存儲(Object-based Storage)是一種新的網(wǎng)絡存儲架構(gòu),基于對象存儲技術的設備就是對象存儲設備(Object-based Storage Device)簡稱OSD。
本質(zhì)是一樣的,底層都是塊存儲,只是在對外接口上表現(xiàn)不一致,分別應用于不同的業(yè)務場景。
分布式存儲的應用場景相對于其存儲接口,現(xiàn)在流行分為三種:
對象存儲: 也就是通常意義的鍵值存儲,其接口就是簡單的GET、PUT、DEL和其他擴展,如七牛、又拍、Swift、S3
塊存儲: 這種接口通常以QEMU Driver或者Kernel Module的方式存在,這種接口需要實現(xiàn)Linux的Block Device的接口或者QEMU提供的Block Driver接口,如Sheepdog,AWS的EBS,青云的云硬盤和阿里云的盤古系統(tǒng),還有Ceph的RBD(RBD是Ceph面向塊存儲的接口)
文件存儲: 通常意義是支持POSIX接口,它跟傳統(tǒng)的文件系統(tǒng)如Ext4是一個類型的,但區(qū)別在于分布式存儲提供了并行化的能力,如Ceph的CephFS(CephFS是Ceph面向文件存儲的接口),但是有時候又會把GFS,HDFS這種非POSIX接口的類文件存儲接口歸入此類。
1
文件存儲
通常,NAS產(chǎn)品都是文件級存儲。
NAS(Network Attached Storage):是一套網(wǎng)絡儲存設備,通常是直接連在網(wǎng)絡上并提供資料存取服務,一套 NAS 儲存設備就如同一個提供數(shù)據(jù)文件服務的系統(tǒng),特點是性價比高。例如教育、政府、企業(yè)等數(shù)據(jù)存儲應用。
它采用NFS或CIFS命令集訪問數(shù)據(jù),以文件為傳輸協(xié)議,通過TCP/IP實現(xiàn)網(wǎng)絡化存儲,可擴展性好、價格便宜、用戶易管理,如目前在集群計算中應用較多的NFS文件系統(tǒng),但由于NAS的協(xié)議開銷高、帶寬低、延遲大,不利于在高性能集群中應用。
02
典型設備:FTP、NFS服務器
為了克服文件無法共享的問題,所以有了文件存儲。
文件存儲,就是在文件系統(tǒng)一層對外提供服務,系統(tǒng)只用訪問文件系統(tǒng)一級就可以,各個系統(tǒng)都可以根據(jù)接口取訪問。
文件存儲也有軟硬一體化的設備,但是其實一臺普通的PC機,只要裝上合適的操作系統(tǒng)和軟件,就可以假設FTP與NFS服務了,架上該類服務之后的服務器,就是文件存儲的一種了。
主機A可以直接對文件存儲進行文件的上傳和下載,與塊存儲不同,主機A是不需要再對文件存儲進行格式化的,因為文件管理功能已經(jīng)由文件存儲自己搞定了。
優(yōu)點
(1)造價低:隨便一臺機器就可以,另外普通的以太網(wǎng)就可以,根本不需要專用的SAN網(wǎng)絡,所以造價低
(2)方便文件共享
缺點
(1)讀寫速率低,傳輸速率慢:以太網(wǎng),上傳下載速度較慢,另外所有讀寫都要1臺服務器里面的硬盤來承受,相比起磁盤陣列動不動就十幾上百塊硬盤同時讀寫,速率慢了許多。
使用場景:
日志存儲。
有目錄結(jié)構(gòu)的文件存儲。
…(更多專業(yè)區(qū)塊鏈IPFS一手信息歡迎添加微信: icloud-box)
3
對象存儲
03
典型設備:內(nèi)置大容量硬盤的分布式服務器
對象存儲最常用的方案,就是多臺服務器內(nèi)置大容量硬盤,再裝上對象存儲軟件,然后再額外搞幾臺服務作為管理節(jié)點,安裝上對象存儲管理軟件。
管理節(jié)點可以管理其他服務器對外提供讀寫訪問功能。
之所以出現(xiàn)對象存儲這種東西,是為了克服塊存儲與文件存儲各自的缺點,發(fā)揚各自的優(yōu)點。簡單來說塊存儲讀寫快,不利于共享,文件存儲讀寫慢,利于共享。能否弄一個讀寫塊,利于共享的存儲出來呢?于是就有了對象存儲。
首先,一個文件包含了屬性(術語:metadata,元數(shù)據(jù),例如該文件的大小、修改時間、存儲路徑等)以及內(nèi)容(數(shù)據(jù))。
像FAT32這種文件系統(tǒng),是直接將一份文件與metadata一起存儲的,存儲過程先將文件按照文件系統(tǒng)的最小塊大小來打散(例如4M的文件,假設文件系統(tǒng)要求一個塊4K,那么就將文件打散稱為1000個小塊),再寫進硬盤里,過程中沒有區(qū)分數(shù)據(jù)和metadata的。而每個塊最后會告知你下一個要讀取的塊地址,然后一直這樣順序的按圖索驥,最后完成整份文件的所有塊的讀取。
這種情況下讀寫速率很慢,因為就算你有100個機械臂在讀寫,但是由于你只有讀取到第一個塊,才能知道下一個塊在哪里,其實相當于只能有1個機械臂在實際工作。
而對象存儲則將元數(shù)據(jù)獨立出來了,控制節(jié)點叫元數(shù)據(jù)服務器(服務器+對象存儲管理軟件),里面主要負責存儲對象的屬性(主要是對象的數(shù)據(jù)被打散存放到了那幾臺分布式服務器中的信息)而其他負責存儲數(shù)據(jù)的分布式服務器叫做OSD,主要負責存儲文件的數(shù)據(jù)部分。當用戶訪問對象,會先訪問元數(shù)據(jù)服務器,元數(shù)據(jù)服務器只負責反饋對象存儲在哪里OSD,假設反饋文件A存儲在B、C、D三臺OSD,那么用戶就會再次直接訪問3臺OSD服務器去讀取數(shù)據(jù)。
這時候由于是3臺OSD同時對外傳輸數(shù)據(jù),所以傳輸?shù)乃俣染蜁涌炝耍擮SD服務器數(shù)量越多,這種讀寫速度的提升就越大,通過此種方式,實現(xiàn)了讀寫快的目的。
另一方面,對象存儲軟件是有專門的文件系統(tǒng)的,所以OSD對外又相當于文件服務器,那么就不存在共享方面的困難了,也解決了文件共享方面的問題。所以對象存儲的出現(xiàn),很好的結(jié)合了塊存儲和文件存儲的優(yōu)點。
關鍵技術
對象存儲文件系統(tǒng)的關鍵技術是什么?
(1)分布元數(shù)據(jù)
(2)并發(fā)數(shù)據(jù)訪問,對象存儲體系結(jié)構(gòu)定義了一個新的、更加智能化的磁盤接口OSD
什么是OSD?
存儲局域網(wǎng)(SAN)和網(wǎng)絡附加存儲(NAS)是我們比較熟悉的兩種主流網(wǎng)絡存儲架構(gòu),而對象存儲是一種新的網(wǎng)絡存儲架構(gòu),基于對象存儲技術的設備就是對象存儲設備,簡稱:OSD
在存儲對象中通過什么對象方式訪問對象?
在存儲設備中,所有對象都有一個對象標識,通過對象標識OSD命令訪問對象
OSD的主要功能是什么?
(1)數(shù)據(jù)存儲。OSD管理對象數(shù)據(jù),并將它們放置在標準的磁盤系統(tǒng)上,OSD不提供塊接口訪問方式,Client請求數(shù)據(jù)時用對象ID、偏移進行數(shù)據(jù)讀寫;
(2)智能分布。OSD用其自身的CPU和內(nèi)存優(yōu)化數(shù)據(jù)分布,并支持數(shù)據(jù)的預取。由于OSD可以智能的支持對象的預取,從而可以優(yōu)化磁盤的性能
(3)每個對象元數(shù)據(jù)的管理。OSD管理存儲在其上對象的元數(shù)據(jù),該元數(shù)據(jù)與傳統(tǒng)的inode元數(shù)據(jù)相似,通常包括對象的數(shù)據(jù)塊和對象的長度。
優(yōu)點
具備塊存儲的讀寫高速。
具備文件存儲的共享等特性。
使用場景
(適合更新變動較少的數(shù)據(jù))
圖片存儲。
視頻存儲。
…
為什么對象存儲兼具塊存儲和文件存儲的好處,還要使用塊存儲和文件存儲呢?
(1)有一類應用是需要存儲直接裸盤映射的,例如數(shù)據(jù)庫。
因為數(shù)據(jù)需要存儲樓盤映射給自己后,再根據(jù)自己的數(shù)據(jù)庫文件系統(tǒng)來對裸盤進行格式化的,所以是不能夠采用其他已經(jīng)被格式化為某種文件系統(tǒng)的存儲的。此類應用更合適使用塊存儲。
(2)對象存儲的成本比起普通的文件存儲還要較高,需要購買專門的對象存儲軟件以及大容量硬盤。
如果對數(shù)據(jù)量要求不是海量,只是為了做文件共享的時候,直接用文件存儲的形式好了,性價比高。
三種存儲類型差異
三種存儲方式差異