大數據相比較于Java、Python等編程語言來說,確實是入門比較難的,不過如果想自學也沒毛病,只要你了解大數據的學習路線圖,跟著學習路線圖來學習,不會走偏,那么,想學習還是很容易的哦!
分享給大家一套大數據的學習路線圖學習大數據,也需要一些編程語言要基礎,之后還要學習Hadoop、spark等技術棧,在加上一些項目實戰,就可以找工作嘍!
第一階段:零基礎數據倉庫管理可掌握的核心能力
?掌握企業級ETL平臺的kettle
?掌握BI的可視化平臺Superset
?掌握Kettle ETL處理設計思想
?掌握大數據企業開發中最常見的linux的操作
?掌握一款主流數據庫客戶端工具DataGrip
?掌握企業MySQL的調優方案
?掌握大數據分析中數據全量及增量同步解決方案
?掌握生產環境中數據分析程序的部署解決方案
第二階段:Java語言編程可掌握的核心能力
?掌握Java程序基礎數據類型
?掌握開發中常用類如集合、IO流、常用類等操作
?掌握Java異常處理機制
?掌握反射、網絡編程、多線程開發
?掌握Jsoup的網絡爬蟲開發
?掌握JDBC操作
?掌握ETL數據處理和BI報表開發
第三階段:Hadoop技術棧可掌握的核心能力
?掌握shell編程
?掌握ZooKeeper原理并應用
?掌握HDFS的使用和MapReduce編程
?理解MapReduce原理和調優
?掌握Yarn的原理和調優
?掌握Hive的使用和調優
第四階段:項目一(在線教育)可掌握的核心能力
?掌握從需求、設計、研發、測試到落地上線的完整項目流程
?掌握大量教育行業的真實業務邏輯,涉及20多個主題,100多個指標
?掌握海量數據如何調優、使用拉鏈表、增量數據處理,以及Hive函數的具體應用等
?掌握基于CM的大數據環境部署和管理
?掌握數據倉庫的核心概念和應用
?掌握常用離線大數據技術:Oozie、Sqoop、Hive等
?掌握FineReport可視化
第五階段:數據微服務接口開發可掌握的核心能力
?掌握SpringBoot整合SpringMVC開發
?掌握SpringBoot整合MyBatis開發
?掌握Eureka搭建
?掌握Feign的使用
第六階段:實時生態圈可掌握的核心能力
?掌握Redis原理及架構
?掌握Redis命令操作、及數據結構
?掌握Hbase原理及架構
?掌握HBase命令操作、MapReduce編程
?掌握Phoneix二級索引優化查詢
?掌握ELK開發掌握Kafka原理及架構
掌握KafkaStreams開發
掌握基于Flink進行實時和離線數據處理、分析
掌握基于Flink的多流并行處理技術
掌握千萬級高速實時采集技術
第七階段:項目二(證券、物聯網任選其一)可掌握的核心能力
?掌握基于FTP、Flume + Kafka的實時數據采集開發
?掌握TB級海量規模下Flink實時處理開發,保證實時計算高容錯
?掌握三種不同時間維指標的存儲、計算方案(Druid、MySQL、HBase),例如:毫秒級\秒級\分時等時間維
?掌握基于Kylin的即席快速OLAP開發
?掌握基于Flink CEP的實時預警監控開發
?掌握基于Spring Boot的數據服務接口開發
第八階段:Spark技術棧可掌握的核心能力
?掌握Scala語言基礎、數據結構
?掌握Scala語言高階語法特性
?掌握Spark的RDD、DAG、CheckPoint等設計思想
?掌握SparkSQL結構化數據處理,Spark On Hive整合
?掌握Spark Streaming整合Kafka完成實時數據處理
?掌握Spark Streaming偏移量管理及Checkpoint
?掌握Structured Streaming整合多數據源完成實時數據處理
第九階段:項目三可掌握的核心能力
?掌握Docker環境部署、管理操作
?掌握基于Oracle + MySQL異構數據源數據處理技術
?掌握基于Oracle Golden Gate以及Canal的實時采集技術
?掌握Kudu + Spark的快速離線數據處理、分析技術
?掌握Kudu + Impala即席數據分析技術
?掌握基于ClickHouse高性能存儲、計算引擎技術
?掌握基于ELK的全文檢索技術
?掌握Kudu、Spark的調優能力
?掌握基于Spring Cloud的數據微服務接口開發技術
如果想要學習,有免費教程,可以私信我哦