大數(shù)據(jù)作為當(dāng)代第一吸金的領(lǐng)域,吸引了一批又一批的學(xué)生來進修大數(shù)據(jù),但對于大數(shù)據(jù)的學(xué)習(xí)又是很陌生的,不知道如何下手,不知道該怎么樣才能成為大數(shù)據(jù)工程師。今天就針對兩種不同的人群來分析一下呼和才能成為大數(shù)據(jù)工程師。
1、對應(yīng)屆生
個人覺得應(yīng)屆生應(yīng)該打好基礎(chǔ),大學(xué)本科一般都會開設(shè)數(shù)據(jù)結(jié)構(gòu),算法基礎(chǔ),操作系統(tǒng),編譯原理,計算機網(wǎng)絡(luò)等課程。這些課程一定要好好學(xué),基礎(chǔ)扎實了學(xué)其他東西問題都不大,而且好多大公司面試都會問這些東西。如果你準備從事IT行業(yè),這些東西對你會很有幫助。
至于學(xué)什么語言,我覺得對大數(shù)據(jù)行業(yè)來說,Java還是比較多。有時間有興趣的話可以學(xué)學(xué)scala,這個語言寫spark比較棒。
集群環(huán)境一定要搭起來。有條件的話可以搭一個小的分布式集群,沒條件的可以在自己電腦上裝個虛擬機然后搭一個偽分布式的集群。一來能幫助你充分認識Hadoop,而來可以在上面做點實際的東西。你所有踩得坑都是你寶貴的財富。
然后就可以試著寫一些數(shù)據(jù)計算中常見的去重,排序,表關(guān)聯(lián)等操作。
對于我來說,面試應(yīng)屆生就問你的基礎(chǔ),筆試大多是數(shù)據(jù)結(jié)構(gòu)和算法方面的,如果你基礎(chǔ)不錯而且有一定的大數(shù)據(jù)方面的經(jīng)驗,基本上都會過。
2、對有工作經(jīng)驗想轉(zhuǎn)行的
主要考察三個方面,一是基礎(chǔ),二是學(xué)習(xí)能力,三是解決問題的能力。
基礎(chǔ)很好考察,給幾道筆試題做完基本上就知道什么水平了。
學(xué)習(xí)能力還是非常重要的,畢竟寫Javaweb和寫mapreduce還是不一樣的。大數(shù)據(jù)處理技術(shù)目前都有好多種,而且企業(yè)用的時候也不單單使用一種,再一個行業(yè)發(fā)展比較快,要時刻學(xué)習(xí)新的東西并用到實踐中。
解決問題的能力在什么時候都比較重要,數(shù)據(jù)開發(fā)中尤為重要,我們同常會遇到很多數(shù)據(jù)問題,比如說終極產(chǎn)生的報表數(shù)據(jù)對不上,一般來說一份終版的數(shù)據(jù)往往來源于很多原始數(shù)據(jù),中間又經(jīng)過了n多處理。要求你對數(shù)據(jù)敏感,并能把握問題的本質(zhì),追根溯源,在盡可能短的時間里解決問題。
掌握計算機技術(shù)、hadoop、spark、storm開發(fā)、hive數(shù)據(jù)庫、Linux操作系統(tǒng)等知識,具備分布式存儲、分布式計算框架等技術(shù),熟悉大數(shù)據(jù)處理和分析技術(shù),面向大數(shù)據(jù)平臺建設(shè)與服務(wù)企業(yè)的技術(shù)人才。