欧美一区二区三区,国内熟女精品熟女A片视频小说,日本av网,小鲜肉男男GAY做受XXX网站

平臺組件是什么

榮姿康2年前48瀏覽0評論

平臺組件是什么?

平臺組件包含以下內容:

1.Mysql

傳統關系型數據庫,為Hive、Hue、Spark組件提供元數據存儲服務。

2.Elasticsearch

兼有搜索引擎和NoSQL數據庫功能的開源系統,基于JAVA/Lucene構建,開源、分布式、支持RESTful請求。

3.Flink

一個批處理和流處理結合的統一計算框架,提供數據分發以及并行化計算的流數據處理引擎。

4.Flume

一個分布式、可靠和高可用的海量日志聚合系統,支持在系統中定制各類數據發送方,用于收集數據;

同時,Flume提供對數據進行簡單處理,并寫入各種數據接受方(可定制)的能力。

5.HBase

提供海量數據存儲功能,是一種構建在HDFS之上的分布式、面向列的存儲系統。HDFS Hadoop分布式文件系統提供高吞吐量的數據訪問,適合大規模數據集方面的應用。

6.Hive

建立在Hadoop基礎上的開源的數據倉庫,提供類似SQL的Hive Query Language語言操作結構化數據存儲服務和基本的數據分析服務。

7.Hue

提供了圖形化用戶Web界面。Hue支持展示多種組件,目前支持HDFS、Hive、YARN/Mapreduce、Oozie、Solr、ZooKeeper。

8.Kafka

一個分布式的、分區的、多副本的實時消息發布和訂閱系統。提供可擴展、高吞吐、低延遲、高可靠的消息分發服務。

9.Sqoop

實現與關系型數據庫、文件系統之間交換數據和文件的數據加載工具;同時提供REST API接口,供第三方調度平臺調用。

10.Mapreduce

提供快速并行處理大量數據的能力,是一種分布式數據處理模式和執行環境。

11.Oozie

提供了對開源Hadoop組件的任務編排、執行的功能。以Java Web應用程序的形式運行在Java servlet容器(如:Tomcat)中,并使用數據庫來存儲工作流定義、當前運行的工作流實例(含實例的狀態和變量)。

12.Redis 一個開源的、高性能的key-value分布式存儲數據庫,支持豐富的數據類型,彌補了memcached這類key-value存儲的不足,滿足實時的高并發需求。

13.SmallFS

提供小文件后臺合并功能,能夠自動發現系統中的小文件(通過文件大小閾值判斷),在閑時進行合并,并把元數據存儲到本地的LevelDB中,來降低NameNode壓力,同時提供新的FileSystem接口,讓用戶能夠透明的對這些小文件進行訪問。

14.Solr

一個高性能,基于Lucene的全文檢索服務器。Spark 基于內存進行計算的分布式計算框架。

15.Storm

提供分布式、高性能、高可靠、容錯的實時計算平臺,可以對海量數據進行實時處理。CQL提供的類SQL流處理語言,可以快速進行業務開發,縮短業務上線時間。

16.Yarn

資源管理系統,它是一個通用的資源模塊,可以為各類應用程序進行資源管理和調度。

17.ZooKeeper

提供分布式、高可用性的協調服務能力。幫助系統避免單點故障,從而建立可靠的應用程序。

java操作hdfs,平臺組件是什么