隨著大數據技術的普及,迎來了數據爆發時代,一時間數據出現了多種叫法,熱數據也是其中一種叫法,相關的還有冷數據和溫數據,若想了解如何從熱數據中得到價值,首先就要了解什么是熱數據。
熱數據為即時在線數據,通常需要被頻繁的訪問,表明當前某個事件正在發生,例如用戶的網頁瀏覽行為,銀行、信用交易數據,實時的地理位置狀態等,通常這些熱數據多存在于第三方的平臺或基于某個第三方的APP系統。
熱數據應用的場景多為從獲取的數據中快速分析計算,得出結果來輔助銀行進行非法交易操作的快速定位與制止;輔助定位交通違規等不法行為發生;實時關注顧客正在瀏覽的位置,進行精準影響等。
所以從熱數據中獲取有價值的數據,需要實現高速的批量數據采集,采用實時計算甚至是毫秒級計算的能力,數據庫需要具備高精度的存儲格式,對于不同類型數據采用不同存儲手段,以實現快速存儲,快速讀取。
實時數據采集可以使用KafKa、Flume等技術,實時計算可以使用流處理技術,如:SparkStreaming、Storm,之后使用Redis、Memcache、MongoDB等內存數據庫提供數據的快速實時查詢服務,輔助決策分析。