大數據處理為何選擇spark？

Spark 特點

開源的集群云計算框架端到端的數據分析平臺（可視化監控）相較于Hadoop map reduce 在功能性能上都更進一步可以單例模式也可以集群模式Streaming 處理數據（實時數據接收處理）支持多語言：Scala/python/java/RAmazon，eBay, Yahoo 使用Spark豐富的庫：Grahp, SQL, ML, Streaming多種管理框架可選擇（Yarn， mesos）

基于內存的計算

當我們需要讀取數據來分析時，它已經在運行中，我們可以很容易地檢索它。有利于實時風險管理和欺詐檢測。緩存了大量數據，數據變得高度可訪問。系統的計算速度提高。改進復雜事件處理，基于 DAG 圖的 task 和 Lazy evaluation 。

Spark 數據分析流程

我是工作多年的大數據攻城獅一枚，相關問題可以在評論區留言，或者私信我！