memcache和redis和mongodb怎么選擇?
不同的Nosql,其實(shí)應(yīng)用的場(chǎng)景各有不同,所以我們應(yīng)該先了解不同Nosql之間的差別,然后分析什么才是最適合我使用的Nosql。
Nosql介紹Nosql的全稱是Not Only Sql,這個(gè)概念早起就有人提出,在09年的時(shí)候比較火。Nosql指的是非關(guān)系型數(shù)據(jù)庫(kù),而我們常用的都是關(guān)系型數(shù)據(jù)庫(kù)。就像我們常用的mysql,sqlserver一樣,這些數(shù)據(jù)庫(kù)一般用來(lái)存儲(chǔ)重要信息,應(yīng)對(duì)普通的業(yè)務(wù)是沒(méi)有問(wèn)題的。但是,隨著互聯(lián)網(wǎng)的高速發(fā)展,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在應(yīng)付超大規(guī)模,超大流量以及高并發(fā)的時(shí)候力不從心。而就在這個(gè)時(shí)候,Nosql得到的告訴的發(fā)展。
Nosql和關(guān)系型數(shù)據(jù)庫(kù)的區(qū)別1.存儲(chǔ)方式
關(guān)系型數(shù)據(jù)庫(kù)是表格式的,因此存儲(chǔ)在表的行和列中。他們之間很容易關(guān)聯(lián)協(xié)作存儲(chǔ),提取數(shù)據(jù)很方便。而Nosql數(shù)據(jù)庫(kù)則與其相反,他是大塊的組合在一起。通常存儲(chǔ)在數(shù)據(jù)集中,就像文檔、鍵值對(duì)或者圖結(jié)構(gòu)。
2.存儲(chǔ)結(jié)構(gòu)
關(guān)系型數(shù)據(jù)庫(kù)對(duì)應(yīng)的是結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)表都預(yù)先定義了結(jié)構(gòu)(列的定義),結(jié)構(gòu)描述了數(shù)據(jù)的形式和內(nèi)容。這一點(diǎn)對(duì)數(shù)據(jù)建模至關(guān)重要,雖然預(yù)定義結(jié)構(gòu)帶來(lái)了可靠性和穩(wěn)定性,但是修改這些數(shù)據(jù)比較困難。而Nosql數(shù)據(jù)庫(kù)基于動(dòng)態(tài)結(jié)構(gòu),使用與非結(jié)構(gòu)化數(shù)據(jù)。因?yàn)镹osql數(shù)據(jù)庫(kù)是動(dòng)態(tài)結(jié)構(gòu),可以很容易適應(yīng)數(shù)據(jù)類(lèi)型和結(jié)構(gòu)的變化。
3.存儲(chǔ)規(guī)范
關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)為了更高的規(guī)范性,把數(shù)據(jù)分割為最小的關(guān)系表以避免重復(fù),獲得精簡(jiǎn)的空間利用。雖然管理起來(lái)很清晰,但是單個(gè)操作設(shè)計(jì)到多張表的時(shí)候,數(shù)據(jù)管理就顯得有點(diǎn)麻煩。而Nosql數(shù)據(jù)存儲(chǔ)在平面數(shù)據(jù)集中,數(shù)據(jù)經(jīng)??赡軙?huì)重復(fù)。單個(gè)數(shù)據(jù)庫(kù)很少被分隔開(kāi),而是存儲(chǔ)成了一個(gè)整體,這樣整塊數(shù)據(jù)更加便于讀寫(xiě)
4.存儲(chǔ)擴(kuò)展
這可能是兩者之間最大的區(qū)別,關(guān)系型數(shù)據(jù)庫(kù)是縱向擴(kuò)展,也就是說(shuō)想要提高處理能力,要使用速度更快的計(jì)算機(jī)。因?yàn)閿?shù)據(jù)存儲(chǔ)在關(guān)系表中,操作的性能瓶頸可能涉及到多個(gè)表,需要通過(guò)提升計(jì)算機(jī)性能來(lái)克服。雖然有很大的擴(kuò)展空間,但是最終會(huì)達(dá)到縱向擴(kuò)展的上限。而Nosql數(shù)據(jù)庫(kù)是橫向擴(kuò)展的,它的存儲(chǔ)天然就是分布式的,可以通過(guò)給資源池添加更多的普通數(shù)據(jù)庫(kù)服務(wù)器來(lái)分擔(dān)負(fù)載。
5.查詢方式
關(guān)系型數(shù)據(jù)庫(kù)通過(guò)結(jié)構(gòu)化查詢語(yǔ)言來(lái)操作數(shù)據(jù)庫(kù)(就是我們通常說(shuō)的SQL)。SQL支持?jǐn)?shù)據(jù)庫(kù)CURD操作的功能非常強(qiáng)大,是業(yè)界的標(biāo)準(zhǔn)用法。而Nosql查詢以塊為單元操作數(shù)據(jù),使用的是非結(jié)構(gòu)化查詢語(yǔ)言(UnQl),它是沒(méi)有標(biāo)準(zhǔn)的。關(guān)系型數(shù)據(jù)庫(kù)表中主鍵的概念對(duì)應(yīng)Nosql中存儲(chǔ)文檔的ID。關(guān)系型數(shù)據(jù)庫(kù)使用預(yù)定義優(yōu)化方式(比如索引)來(lái)加快查詢操作,而Nosql更簡(jiǎn)單更精確的數(shù)據(jù)訪問(wèn)模式。
6.事務(wù)
關(guān)系型數(shù)據(jù)庫(kù)遵循ACID規(guī)則(原子性(Atomicity)、一致性(Consistency)、隔離性(Isolation)、持久性(Durability)),而Nosql數(shù)據(jù)庫(kù)遵循BASE原則(基本可用(Basically Availble)、軟/柔性事務(wù)(Soft-state )、最終一致性(Eventual Consistency))。由于關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)強(qiáng)一致性,所以對(duì)事務(wù)的支持很好。關(guān)系型數(shù)據(jù)庫(kù)支持對(duì)事務(wù)原子性細(xì)粒度控制,并且易于回滾事務(wù)。而Nosql數(shù)據(jù)庫(kù)是在CAP(一致性、可用性、分區(qū)容忍度)中任選兩項(xiàng),因?yàn)榛诠?jié)點(diǎn)的分布式系統(tǒng)中,很難全部滿足,所以對(duì)事務(wù)的支持不是很好,雖然也可以使用事務(wù),但是并不是Nosql的閃光點(diǎn)。
7.性能
關(guān)系型數(shù)據(jù)庫(kù)為了維護(hù)數(shù)據(jù)的一致性付出了巨大的代價(jià),讀寫(xiě)性能比較差。在面對(duì)高并發(fā)讀寫(xiě)性能非常差,面對(duì)海量數(shù)據(jù)的時(shí)候效率非常低。而Nosql存儲(chǔ)的格式都是key-value類(lèi)型的,并且存儲(chǔ)在內(nèi)存中,非常容易存儲(chǔ),而且對(duì)于數(shù)據(jù)的 一致性是 弱要求。Nosql無(wú)需sql的解析,提高了讀寫(xiě)性能。
8.授權(quán)方式
關(guān)系型數(shù)據(jù)庫(kù)通常有SQL Server,Mysql,Oracle。主流的Nosql數(shù)據(jù)庫(kù)有redis,memcache,MongoDb。大多數(shù)的關(guān)系型數(shù)據(jù)庫(kù)都是付費(fèi)的并且價(jià)格昂貴,成本較大,而Nosql數(shù)據(jù)庫(kù)通常都是開(kāi)源的。
Redis,Memcache,MongoDb的特點(diǎn)與區(qū)別Redis
優(yōu)點(diǎn)
支持多種數(shù)據(jù)結(jié)構(gòu),如 string(字符串)、 list(雙向鏈表)、dict(hash表)、set(集合)、zset(排序set)、hyperloglog(基數(shù)估算)
支持持久化操作,可以進(jìn)行aof及rdb數(shù)據(jù)持久化到磁盤(pán),從而進(jìn)行數(shù)據(jù)備份或數(shù)據(jù)恢復(fù)等操作,較好的防止數(shù)據(jù)丟失 的手段。
支持通過(guò)Replication進(jìn)行數(shù)據(jù)復(fù)制,通過(guò)master-slave機(jī)制,可以實(shí)時(shí)進(jìn)行數(shù)據(jù)的同步復(fù)制,支持多級(jí)復(fù)制和增量復(fù)制,master-slave機(jī)制是Redis進(jìn)行HA的重要手段。
單線程請(qǐng)求,所有命令串行執(zhí)行,并發(fā)情況下不需要考慮數(shù)據(jù)一致性問(wèn)題。
支持pub/sub消息訂閱機(jī)制,可以用來(lái)進(jìn)行消息訂閱與通知。
支持簡(jiǎn)單的事務(wù)需求,但業(yè)界使用場(chǎng)景很少,并不成熟。
缺點(diǎn)
Redis只能使用單線程,性能受限于CPU性能,故單實(shí)例CPU最高才可能達(dá)到5-6wQPS每秒(取決于數(shù)據(jù)結(jié)構(gòu),數(shù)據(jù)大小以及服務(wù)器硬件性能,日常環(huán)境中QPS高峰大約在1-2w左右)。
支持簡(jiǎn)單的事務(wù)需求,但業(yè)界使用場(chǎng)景很少,并不成熟,既是優(yōu)點(diǎn)也是缺點(diǎn)。
Redis在string類(lèi)型上會(huì)消耗較多內(nèi)存,可以使用dict(hash表)壓縮存儲(chǔ)以降低內(nèi)存耗用。
Memcache
優(yōu)點(diǎn)
Memcached可以利用多核優(yōu)勢(shì),單實(shí)例吞吐量極高,可以達(dá)到幾十萬(wàn)QPS(取決于key、value的字節(jié)大小以及服務(wù)器硬件性能,日常環(huán)境中QPS高峰大約在4-6w左右)。適用于最大程度扛量。
支持直接配置為session handle。
缺點(diǎn)
只支持簡(jiǎn)單的key/value數(shù)據(jù)結(jié)構(gòu),不像Redis可以支持豐富的數(shù)據(jù)類(lèi)型。
無(wú)法進(jìn)行持久化,數(shù)據(jù)不能備份,只能用于緩存使用,且重啟后數(shù)據(jù)全部丟失。
無(wú)法進(jìn)行數(shù)據(jù)同步,不能將MC中的數(shù)據(jù)遷移到其他MC實(shí)例中。
Memcached內(nèi)存分配采用Slab Allocation機(jī)制管理內(nèi)存,value大小分布差異較大時(shí)會(huì)造成內(nèi)存利用率降低,并引發(fā)低利用率時(shí)依然出現(xiàn)踢出等問(wèn)題。需要用戶注重value設(shè)計(jì)。
MongoDB
優(yōu)點(diǎn)
更高的寫(xiě)負(fù)載,MongoDB擁有更高的插入速度。
處理很大的規(guī)模的單表,當(dāng)數(shù)據(jù)表太大的時(shí)候可以很容易的分割表。
高可用性,設(shè)置M-S不僅方便而且很快,MongoDB還可以快速、安全及自動(dòng)化的實(shí)現(xiàn)節(jié)點(diǎn)(數(shù)據(jù)中心)故障轉(zhuǎn)移。
快速的查詢,MongoDB支持二維空間索引,比如管道,因此可以快速及精確的從指定位置獲取數(shù)據(jù)。MongoDB在啟動(dòng)后會(huì)將數(shù)據(jù)庫(kù)中的數(shù)據(jù)以文件映射的方式加載到內(nèi)存中。如果內(nèi)存資源相當(dāng)豐富的話,這將極大地提高數(shù)據(jù)庫(kù)的查詢速度。
非結(jié)構(gòu)化數(shù)據(jù)的爆發(fā)增長(zhǎng),增加列在有些情況下可能鎖定整個(gè)數(shù)據(jù)庫(kù),或者增加負(fù)載從而導(dǎo)致性能下降,由于MongoDB的弱數(shù)據(jù)結(jié)構(gòu)模式,添加1個(gè)新字段不會(huì)對(duì)舊表格有任何影響,整個(gè)過(guò)程會(huì)非常快速。
缺點(diǎn)
不支持事務(wù)。
MongoDB占用空間過(guò)大 。
MongoDB沒(méi)有成熟的維護(hù)工具。
Redis、Memcache和MongoDB的區(qū)別1. 性能
三者的性能都比較高,總的來(lái)講:Memcache和Redis差不多,要高于MongoDB。
2. 便利性
memcache數(shù)據(jù)結(jié)構(gòu)單一。
redis豐富一些,數(shù)據(jù)操作方面,redis更好一些,較少的網(wǎng)絡(luò)IO次數(shù)。
mongodb支持豐富的數(shù)據(jù)表達(dá),索引,最類(lèi)似關(guān)系型數(shù)據(jù)庫(kù),支持的查詢語(yǔ)言非常豐富。
3. 存儲(chǔ)空間
redis在2.0版本后增加了自己的VM特性,突破物理內(nèi)存的限制;可以對(duì)key value設(shè)置過(guò)期時(shí)間(類(lèi)似memcache)。
memcache可以修改最大可用內(nèi)存,采用LRU算法。
mongoDB適合大數(shù)據(jù)量的存儲(chǔ),依賴操作系統(tǒng)VM做內(nèi)存管理,吃內(nèi)存也比較厲害,服務(wù)不要和別的服務(wù)在一起。
4. 可用性
redis,依賴客戶端來(lái)實(shí)現(xiàn)分布式讀寫(xiě);主從復(fù)制時(shí),每次從節(jié)點(diǎn)重新連接主節(jié)點(diǎn)都要依賴整個(gè)快照,無(wú)增量復(fù)制,因性能和效率問(wèn)題,所以單點(diǎn)問(wèn)題比較復(fù)雜;不支持自動(dòng)sharding,需要依賴程序設(shè)定一致hash 機(jī)制。一種替代方案是,不用redis本身的復(fù)制機(jī)制,采用自己做主動(dòng)復(fù)制(多份存儲(chǔ)),或者改成增量復(fù)制的方式(需要自己實(shí)現(xiàn)),一致性問(wèn)題和性能的權(quán)衡。
Memcache本身沒(méi)有數(shù)據(jù)冗余機(jī)制,也沒(méi)必要;對(duì)于故障預(yù)防,采用依賴成熟的hash或者環(huán)狀的算法,解決單點(diǎn)故障引起的抖動(dòng)問(wèn)題。
mongoDB支持master-slave,replicaset(內(nèi)部采用paxos選舉算法,自動(dòng)故障恢復(fù)),auto sharding機(jī)制,對(duì)客戶端屏蔽了故障轉(zhuǎn)移和切分機(jī)制。
5. 可靠性
redis支持(快照、AOF):依賴快照進(jìn)行持久化,aof增強(qiáng)了可靠性的同時(shí),對(duì)性能有所影響。
memcache不支持,通常用在做緩存,提升性能。
MongoDB從1.8版本開(kāi)始采用binlog方式支持持久化的可靠性。
6. 一致性
Memcache 在并發(fā)場(chǎng)景下,用cas保證一致性。
redis事務(wù)支持比較弱,只能保證事務(wù)中的每個(gè)操作連續(xù)執(zhí)行。
mongoDB不支持事務(wù)。
7. 數(shù)據(jù)分析
mongoDB內(nèi)置了數(shù)據(jù)分析的功能(mapreduce),其他兩者不支持。
8. 應(yīng)用場(chǎng)景
redis:數(shù)據(jù)量較小的更性能操作和運(yùn)算上。
memcache:用于在動(dòng)態(tài)系統(tǒng)中減少數(shù)據(jù)庫(kù)負(fù)載,提升性能;做緩存,提高性能(適合讀多寫(xiě)少,對(duì)于數(shù)據(jù)量比較大,可以采用sharding)。
MongoDB:主要解決海量數(shù)據(jù)的訪問(wèn)效率問(wèn)題。