大數(shù)據(jù)的流式處理和大數(shù)據(jù)數(shù)據(jù)倉庫？

從就業(yè)前景的角度來講，大數(shù)據(jù)數(shù)據(jù)倉庫方向要比大數(shù)據(jù)流式處理方向更好。大數(shù)據(jù)流式處理，本質(zhì)就是實時流式數(shù)據(jù)處理，既對數(shù)據(jù)進(jìn)行實時加工和輸出。數(shù)倉研發(fā)同學(xué)平時在進(jìn)行數(shù)據(jù)處理時，會用到大數(shù)據(jù)流式處理技術(shù)。整體來說，大數(shù)據(jù)數(shù)據(jù)倉庫包含大數(shù)據(jù)流式處理，從而大數(shù)據(jù)數(shù)據(jù)倉庫的就業(yè)選擇方向要比大數(shù)據(jù)流式處理更廣。

我之前崗位就是數(shù)據(jù)研發(fā)，本質(zhì)就是結(jié)合數(shù)據(jù)倉庫模型，對業(yè)務(wù)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理和數(shù)據(jù)模型構(gòu)建。業(yè)務(wù)數(shù)據(jù)最開始來源線上業(yè)務(wù)用戶的行為數(shù)據(jù)，通過數(shù)據(jù)采集，存儲到分布式文件系統(tǒng)上，然后使用Hive對數(shù)據(jù)進(jìn)行加工。數(shù)據(jù)研發(fā)，整體可以分為離線數(shù)據(jù)研發(fā)和實時流式數(shù)據(jù)研發(fā)，這兩個方向其實都需要使用到大數(shù)據(jù)數(shù)據(jù)倉庫理論對數(shù)據(jù)建模。

我在進(jìn)行實時數(shù)據(jù)研發(fā)的時候，主要使用到Flink技術(shù)來對流式數(shù)據(jù)進(jìn)行處理。其實處理的同時，整體的設(shè)計思想就是參考數(shù)據(jù)倉庫設(shè)計理論。對流式數(shù)據(jù)，怎么樣處理，才能構(gòu)建出公共層流式數(shù)據(jù)，增強(qiáng)數(shù)據(jù)的可用性，減少資源重復(fù)計算，計算出的實時指標(biāo)，能否做到指標(biāo)口徑統(tǒng)一，如果構(gòu)建流式數(shù)據(jù)應(yīng)用層等。流式數(shù)據(jù)處理也要參考數(shù)據(jù)倉庫理論來進(jìn)行設(shè)計。

所以，只要你學(xué)好大數(shù)據(jù)數(shù)據(jù)倉庫的理論，無論你是大數(shù)據(jù)流式處理，還是離線數(shù)據(jù)處理，你都能夠做到得心應(yīng)手，你可以從事這兩個數(shù)據(jù)研發(fā)方向的工作。如果是大數(shù)據(jù)流式處理，你就只能選擇實時計算相關(guān)的崗位。大數(shù)據(jù)數(shù)據(jù)倉庫方向要比大數(shù)據(jù)流式處理的崗位選擇更廣。

你如果對大數(shù)據(jù)流式處理非常感興趣的話，個人建議你可以先對數(shù)據(jù)倉庫數(shù)據(jù)模型理論進(jìn)行學(xué)習(xí)，ODS層(原始數(shù)據(jù)層)、DWD層(公共數(shù)據(jù)明細(xì)層)、DWS（公共匯總層）、ADM層(數(shù)據(jù)應(yīng)用層)，你要清楚數(shù)據(jù)處理為什么要這么分層。怎么設(shè)計數(shù)據(jù)維表、什么是星形模型、雪花模型，這些概念你都要理解清楚。

學(xué)習(xí)完數(shù)據(jù)倉庫理論再去學(xué)習(xí)流式處理，會讓你以后對于流式數(shù)據(jù)處理更加的專業(yè)，同時會讓你的數(shù)據(jù)任務(wù)更加規(guī)范和通用。從事大數(shù)據(jù)研發(fā)，你一定要學(xué)會數(shù)據(jù)倉庫理論。

我是Lake，專注大數(shù)據(jù)技術(shù)原理、人工智能、數(shù)據(jù)庫技術(shù)、程序員經(jīng)驗分享，如果我的問答對你有幫助的話，希望你能點贊關(guān)注我，感謝。

我會持續(xù)大數(shù)據(jù)、數(shù)據(jù)庫方面的內(nèi)容，如果你有任何問題，也歡迎關(guān)注私信我，我會認(rèn)真解答每一個問題。