想學習大數據?
學習和掌握大數據的門檻實際是還是很高的,一般建議先學習普通的關系型數據庫,然后再學習大數據的操作和處理。
基礎階段:Linux、Docker、KVM、MySQL基礎、Oracle基礎、MongoDB、redis。hadoop mapreduce hdfs yarn:hadoop:Hadoop 概念、版本、歷史,HDFS工作原理,YARN介紹及組件介紹。
大數據存儲階段:hbase、hive、sqoop。
大數據架構設計階段:Flume分布式、Zookeeper、Kafka。
大數據實時計算階段:Mahout、Spark、storm。
大數據數據采集階段:Python、Scala。
大數據商業實戰階段:實操企業大數據處理業務場景,分析需求、解決方案實施,綜合技術實戰應用。
大數據(big data,mega data),或稱巨量資料,指的是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。 在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法(抽樣調查)這樣的捷徑,而采用所有數據進行分析處理。大數據的5V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值密度)、Veracity(真實性)。
大數據的5個“V”,或者說特點有五層面:
第一,數據體量巨大
從TB級別,躍升到PB級別。
第二,數據類型繁多
前文提到的網絡日志、視頻、圖片、地理位置信息等等。
第三,價值密度低
以視頻為例,連續不間斷監控過程中,可能有用的數據僅僅有一兩秒。
第四,處理速度快
1秒定律。最后這一點也是和傳統的數據挖掘技術有著本質的不同。業界將其歸納為4個“V”——Volume,Variety,Value,Velocity。
物聯網、云計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器,無一不是數據來源或者承載的方式。