mesos屬于大數據計算平臺的哪類組件?
首先,一個典型的大數據解決方案,也就是大數據系統平臺的構建,涉及到多個層次,數據采集和傳輸、數據存儲、數據計算、資源管理、任務調度等,每個流程階段當中,都有多個組件可選擇,關鍵是要能夠滿足實際的需求。 簡單舉例說明一下典型的一些組件:
文件存儲:Hadoop HDFS 離線計算:Hadoop MapReduce、Spark 流式、實時計算:Storm、Spark Streaming K-V、NOSQL數據庫:HBase、Redis、MongoDB 資源管理:YARN、Mesos 日志收集:Flume、Scribe、Logstash、Kibana 消息系統:Kafka、StormMQ、ZeroMQ、RabbitMQ 查詢分析:Hive、Impala、Presto、Phoenix、SparkSQL、Flink、Kylin、Druid 分布式協調服務:Zookeeper 集群管理與監控:Ambari、Ganglia、Nagios、Cloudera Manager 數據挖掘、機器學習:Mahout、Spark MLLib 數據同步:Sqoop 任務調度:Oozie