想要了解大數據和Java語言區別是什么？我們先來簡單了解一下他們定義的范疇：
大數據：簡而言之，就是海量的數據，數據種類繁多，數據結構多變，數據存儲方式不同，需要通過工具去收集這些數據，然后存儲在存儲介質的集群上。
java：java是一門計算機的編程語言，可以編寫桌面應用程序、Web應用程序、分布式系統和嵌入式系統應用程序。
從定義可以大概了解到大數據和java語言區別應該是java語言只是大數據中的一門開發工具語言，具體是怎么樣？我們一起來看看大數據架構和java語言在大數據中應用。
大數據架構
一、數據源
首先從最底層的數據源來講，大數據包含的數據是各方各面的，所有在數據的來源上也是多種多樣的。從種類上來講大體上可以分為以下幾類：
日志數據：應用系統的運行日志，用戶訪問的行為日志等
DB數據：企業內部業務系統的數據，例如客戶管理系統的客戶數據，訂單系統的訂單數據，物流系統的物流數據等
流式數據：簡單的理解就是實時采集的數據，源源不斷像流水一樣產生的數據，例如淘寶上用戶的訪問記錄
互聯網數據：互聯網數據有兩種，一種是自己去采集的數據，一種是跟外部企業合作的數據，例如可以開發爬蟲程序去爬取網站上公開的信息，和淘寶京東合作利用客戶購買行為數據等
其他數據：還有一些其他方面的數據，例如硬件設備產生的數據，特別是現在IOT物聯網的火熱，就是將所有硬件設備的數據收集起來進行分析
二、數據接入
數據源的多種多樣，所以在數據接入技術和工具上也是多種多樣的，常用技術和工具有以下幾種：
Sqoop：一款用來在Hadoop（Hive）和關系型數據庫之間傳輸數據的工具，可以將一個關系型數據庫中的數據導入到HDFS（Hive）中，也可以將HDFS中的數據導入到關系型數據庫中，主要是針對于DB數據源的數據接入。
Flume：一個分布式的、高可靠的、高可用的將大批量的不同數據源的日志數據收集、聚合、移動到數據中心（HDFS）進行存儲的系統，主要針對于日志數據的收集和推送到數據倉庫，類似的還有ELK體系的Logstash組件。
Kafka：一個分布式流處理平臺，用于構造實時流數據管道，它可以在系統或應用之間可靠地獲取數據，具有高性能、持久化、多副本備份、橫向擴展能力，主要針對于流式數據的接入
三、數據存儲
說到數據存儲，大數據的發展歷史離不開一個叫Hadoop的家族產品，可以很直接的這么說，沒有Hadoop就沒有大數據，國內很多大數據公司一開始建立的數據存儲數倉都是基于Hadoop體系建立的，那么Hadoop到底是什么呢？
Hadoop是一個分布式文件系統（HadoopDistributedFileSystem），簡稱HDFS。簡單的理解就是，可以利用大量便宜低端硬件配置的服務器，組建成一個跨服務器的存儲集群，數據可以保存在多個服務器上，實現大數據量的存儲和降低硬件成本。
Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數據提供了存儲，而MapReduce則為海量的數據提供了計算。
說到數據存儲，不得不說一下數據倉庫的架構，不同于傳統的業務系統使用的關系型數據庫，Hadoop一個分布式文件系統，存儲方式是按照文件的存儲方式，所以就有了數據倉庫架構的說法。數據倉庫的架構主要有星型和雪花型兩種方式：
星型：一種使用關系數據庫實現多維分析空間的模式，稱為星型模式。星型模式的基本形式必須實現多維空間（常常被稱為方塊），以使用關系數據庫的基本功能。
雪花型：當星型模式的維度需要進行規范化時，星型模式就演進為雪花模式。
大數據的數據倉庫架構主要采用雪花型架構，因為數據源的多樣化，導致數據結構也是多樣化的。不同于關系型數據庫，都是基于二維表的形式，而大數據的數據有文本數據，日志數據，設備數據，爬蟲數據，業務數據等，所以從接入數據到數倉還需要經過ETL（抽取-extract、轉換-transform、加載-load）清洗的過程才能落地到數據倉庫。一般數據倉庫架構可以分為五層：
- DIM層：DIM層主要用來存儲一些基礎的維度表，很少會改動
- MID層：MID層主要是用來處理根據業務邏輯和指標口徑篩選出來的數據
- DW層：DW層根據主題分類，將數據按照不同的主題建立數據表存儲和進行維度化
- DM層：DM層主要是面向應用層的建模，例如一張分析報表需要展示不同維度和指標的分析，那么根據這些維度和指標從DW層的不同主題分類中的數據關聯出來，形成一張數據表給報表使用。
四、數據應用
在數據清洗完落地數據倉庫之后，就是怎么去利用這些數據去變現業務價值。不同行業有不同行業的用法，在這里小編以自身經歷說一下，小編所在的大數據部門主要是針對金融行業進行數據分析的，那么大概的應用場景有以下幾種：
數據分析報表：基于業務需求開發的固定維度和指標的分析報表
移動端數據可視化：基于手機端App展示的數據圖形可視化應用
數據分析周報，月報：按周或著按月進行數據匯總分析和預測，常用于郵件推送，公眾號推送
大屏可視化駕駛艙：基于大屏端數據圖形可視化，數據高度匯總，大而全
機器學習風控模型：基于機器學習算法訓練出統一規則的模型，用于貸前，貸中或者貸后風控評審關卡。
java語言
在這里就不在過多的描述java的作用了，我們來聊聊java語言在大數據中可以做什么？
從上文大數據架構來看，java語言主要可以應用于開發數據應用和大數據工具，例如javaweb開發數據分析報表，移動可視化分析，大屏可視化駕駛艙等，也可以用于開發一些數據處理過程中用于自動化和便捷開發的工具，例如調度系統：用于數據清洗作業的自動化依賴調度；補錄系統：用于數據缺失值的可視化補錄表，便于數據治理的自動化；發布平臺：用于調度作業一鍵從不同環境之間部署和數據同步審批等。
【我是蠟筆小添，專注IT前沿技術和科技資訊分享，我@蠟筆小添，我們一起學習交流探討】
