大數(shù)據(jù)開發(fā)跟大數(shù)據(jù)平臺開發(fā)有區(qū)別嗎?
大數(shù)據(jù)開發(fā)、大數(shù)據(jù)平臺開發(fā)是一個普通程序員和架構(gòu)師的區(qū)別。大數(shù)據(jù)開發(fā)只需要著眼于某個功能的實現(xiàn),而大數(shù)據(jù)平臺開發(fā)則需要著眼于大局觀來規(guī)劃大數(shù)據(jù)平臺的架構(gòu)和整體的實現(xiàn)方式,最終促成項目達(dá)成。
大數(shù)據(jù)已經(jīng)變成了一個以數(shù)據(jù)為核心的產(chǎn)業(yè)數(shù)據(jù)以及逐漸成為了本世紀(jì)的“鉆石礦”,而大數(shù)據(jù)就是以“鉆石礦”為中心,以數(shù)據(jù)生產(chǎn)、采集、存儲、加工、分析、服務(wù)等形成的產(chǎn)業(yè)鏈和經(jīng)濟(jì)活動。大數(shù)據(jù)產(chǎn)業(yè)包括數(shù)據(jù)資源的建設(shè)、大數(shù)據(jù)軟硬件產(chǎn)品的開發(fā)、銷售、租賃活動,還有相關(guān)的信息技術(shù)服務(wù)。大量數(shù)據(jù)的建模和加工,通過數(shù)據(jù)分析找到大量看似不相關(guān)數(shù)據(jù)之間的因果關(guān)系,并以此來進(jìn)行統(tǒng)計規(guī)律并推測未來的走向,以此來減少試錯成本、降低風(fēng)險,解放很多無效的生產(chǎn)力。
既然大數(shù)據(jù)形成了一個大的產(chǎn)業(yè),那么必然會形成符合大數(shù)據(jù)產(chǎn)業(yè)結(jié)構(gòu)的人才需求體系,目前大數(shù)據(jù)人才方向主要分為大數(shù)據(jù)架構(gòu)、大數(shù)據(jù)開發(fā)、大數(shù)據(jù)分析這3個方向。
大數(shù)據(jù)架構(gòu)、大數(shù)據(jù)開發(fā)、大數(shù)據(jù)分析之間的區(qū)別大家有沒有想過為什么會把大數(shù)據(jù)架構(gòu)放在前面,而不是將大數(shù)據(jù)分析、大數(shù)據(jù)開發(fā)放在前面?完成同樣一件事情的時候,會出現(xiàn)兩類人。一類人是想也不想直接就干,不撞到南墻心不死,另一類人會對這件事做一個充分的評估,然后制定可行性方案,并且在具體實時的過程中不斷的對實時的方案進(jìn)行調(diào)優(yōu),完成這件事并且形成了一個完整的可復(fù)制的體系。
大數(shù)據(jù)平臺開發(fā)著眼于大數(shù)據(jù)的架構(gòu),偏重于基建和架構(gòu)。大數(shù)據(jù)架構(gòu)師更多的關(guān)注點是在Hadoop、Spark、Storm等這些大數(shù)據(jù)框架的實現(xiàn)原理、如何部署、如何調(diào)優(yōu),并且保持穩(wěn)定性。既要保證這些大數(shù)據(jù)架構(gòu)與數(shù)據(jù)流工具(如Flume、Kafka)、可視化工具巧妙結(jié)合,又要保障Hive、PrestoDB、HBase、Cassandra等這些商業(yè)應(yīng)用。大數(shù)據(jù)架構(gòu)師首先肯定是要非常理解這些概念,并且能夠信手拈來去辯證這些技術(shù)組合的技巧,這樣才能為大數(shù)據(jù)收集、開發(fā)提供方向,最終才能實現(xiàn)軟件、硬件的利用率最大化,提供穩(wěn)定的服務(wù)。
其實大數(shù)據(jù)開發(fā)和大數(shù)據(jù)架構(gòu)有很多方向是重合的,區(qū)別在于大數(shù)據(jù)開發(fā)主要是開發(fā),而大數(shù)據(jù)架構(gòu)主要是應(yīng)用。大數(shù)據(jù)開發(fā)更為注重的技術(shù)的熟練掌控程度,以及如何的快速的實現(xiàn)功能。而大數(shù)據(jù)架構(gòu)需要把控的是這個產(chǎn)品能提供什么功能,以及優(yōu)點、缺點各是什么,并且做出取舍并最終落地到用戶的手中。
大數(shù)據(jù)分析則注重于數(shù)據(jù)的建模和分析,并且從探索分析數(shù)據(jù)的方式中找到更多的規(guī)律,或者形成基于數(shù)據(jù)的未來進(jìn)行預(yù)測和預(yù)判的手段。
總結(jié)一個完整的大數(shù)據(jù)平臺的搭建并不是一兩個人就能實現(xiàn)的。大數(shù)據(jù)開發(fā)向大數(shù)據(jù)平臺開發(fā)邁進(jìn)依賴的可不僅僅是技術(shù),需要更多的是眼光、經(jīng)驗、以及對于市場的敏感程度。
以上個人淺見,歡迎批評指正。
認(rèn)同我的看法,請點個贊再走,感謝!喜歡我的,請關(guān)注我,再次感謝!