第一次工業(yè)革命是機(jī)械化,第二次電氣化,第三次信息化,第四次智能化。這次的工業(yè)革命從規(guī)模,從對每個(gè)人的生活、對整個(gè)社會(huì)的影響的廣泛性和深度,都要遠(yuǎn)遠(yuǎn)大于前幾次。在技術(shù)上來講,核心技術(shù)是通過數(shù)據(jù)來觀察世界,通過數(shù)據(jù)來獲取知識(shí)。
站在浪尖上面臨150萬的人才緊缺的大數(shù)據(jù)。
大數(shù)據(jù)主要分成三大類:大數(shù)據(jù)系統(tǒng)研發(fā)類、大數(shù)據(jù)應(yīng)用開發(fā)類、大數(shù)據(jù)分析類,崗位包括大數(shù)據(jù)系統(tǒng)架構(gòu)、大數(shù)據(jù)開發(fā)、大數(shù)據(jù)系統(tǒng)分析、數(shù)據(jù)分析、數(shù)據(jù)挖掘、大數(shù)據(jù)可視化、數(shù)據(jù)庫管理、數(shù)據(jù)遷移等。
據(jù)有關(guān)媒體報(bào)道,目前行業(yè)最稀缺的人才:
1、java大數(shù)據(jù)開發(fā)
2、大數(shù)據(jù)精準(zhǔn)營銷
3、大數(shù)據(jù)分析師(金融企業(yè)急需和緊缺的,尤為突出)
4、數(shù)據(jù)架構(gòu)師
當(dāng)下最熱門的崗位兩大類:一類是應(yīng)用類,另一類是系統(tǒng)類。
應(yīng)用類
應(yīng)用類,偏向于數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用,經(jīng)常說到的數(shù)據(jù)分析、數(shù)據(jù)挖掘,就是典型的應(yīng)用技術(shù)。這一類職位,要求采用適當(dāng)?shù)姆治龊屯诰蚍椒▽?shù)據(jù)進(jìn)行分析,提取數(shù)據(jù)中隱含的業(yè)務(wù)信息,來支撐企業(yè)決策。
最典型的職位就是:大數(shù)據(jù)分析師。
主要崗位有:
1、大數(shù)據(jù)分析師:主要是指,基于業(yè)務(wù)問題,能夠選擇最合適的數(shù)據(jù)分析和數(shù)據(jù)挖掘方法,提取數(shù)據(jù)中的業(yè)務(wù)信息,從而支撐業(yè)務(wù)決策。要求熟悉數(shù)據(jù)分析/挖掘過程,掌握數(shù)據(jù)分析/挖掘方法,理解數(shù)據(jù)分析模型,熟練操作數(shù)據(jù)分析工具(比如Excel、SPSS、SAS等)。一般對于大數(shù)據(jù)分析師,其能力要求比較全面,不管是業(yè)務(wù)邏輯、還是分析方法、模型、可視化,都要求全面掌握。
2、業(yè)務(wù)數(shù)據(jù)分析師:側(cè)重于商業(yè)理解,要求能夠?qū)I(yè)務(wù)問題和商業(yè)問題,轉(zhuǎn)化為大數(shù)據(jù)的問題,并將分析結(jié)果從業(yè)務(wù)層面進(jìn)行解讀,從而形成業(yè)務(wù)建議和業(yè)務(wù)策略。要求熟悉業(yè)務(wù)邏輯和業(yè)務(wù)模型,掌握數(shù)據(jù)分析思路,能將數(shù)據(jù)可視化,對數(shù)據(jù)解讀等。當(dāng)然,類似的職位還有大數(shù)據(jù)觀察員、大數(shù)據(jù)研究員等等,這些都側(cè)重于商業(yè)理解。
3、大數(shù)據(jù)建模/算法師:側(cè)重于數(shù)據(jù)建模,能夠圍繞業(yè)務(wù)問題,構(gòu)建合適的數(shù)據(jù)分析框架和分析模型,將業(yè)務(wù)問題進(jìn)行分解,從而達(dá)到定性或定量來描述業(yè)務(wù)的目的。要求熟悉數(shù)據(jù)建模、模型評估、模型優(yōu)化、模型應(yīng)用等等。
4、大數(shù)據(jù)算法師:側(cè)重于數(shù)據(jù)模型的實(shí)現(xiàn)算法研究、設(shè)計(jì)與實(shí)現(xiàn),為達(dá)到分析目的,對實(shí)現(xiàn)算法進(jìn)行分析、選擇與優(yōu)化,確保實(shí)現(xiàn)性能及效果。一般情況下,算法師往往和建模師在一起工作。
系統(tǒng)類
系統(tǒng)類,偏向于系統(tǒng)研發(fā),比如Hadoop系統(tǒng)、云計(jì)算,就屬于系統(tǒng)類技術(shù)。這一類職位,要求熟悉Hadoop大數(shù)據(jù)平臺(tái)的核心框架和組件,能夠基于大數(shù)據(jù)平臺(tái)來寫代碼開發(fā)應(yīng)用,支撐業(yè)務(wù)應(yīng)用。
最典型的職位就是:大數(shù)據(jù)工程師。
1、大數(shù)據(jù)開發(fā)工程師:負(fù)責(zé)大數(shù)據(jù)系統(tǒng)的開發(fā)工作,能夠運(yùn)用編程語言進(jìn)行應(yīng)用程序的開發(fā)、測試和維護(hù),實(shí)現(xiàn)產(chǎn)品功能。要求掌握編程語言,如JAVA、R、Python等等。
2、大數(shù)據(jù)架構(gòu)師:負(fù)責(zé)大數(shù)據(jù)系統(tǒng)的平臺(tái)架構(gòu)設(shè)計(jì)、平臺(tái)構(gòu)建。要求熟悉Hadoop/Storm/Spark等平臺(tái),熟悉整個(gè)生態(tài)系統(tǒng)的組件,有平臺(tái)級(jí)開發(fā)和架構(gòu)設(shè)計(jì)能力等等。
3、大數(shù)據(jù)運(yùn)維工程師:側(cè)重于大數(shù)據(jù)平臺(tái)運(yùn)維管理,包括系統(tǒng)運(yùn)維規(guī)劃、系統(tǒng)監(jiān)控、系統(tǒng)優(yōu)化等等,保障大數(shù)據(jù)平臺(tái)服務(wù)的穩(wěn)定性和可用性。掌握平臺(tái)各組件的安裝、配置與調(diào)試,有良好的系統(tǒng)性能優(yōu)化及故障排除能力。
4、大數(shù)據(jù)庫管理員:側(cè)重于數(shù)據(jù)庫/數(shù)據(jù)倒倉庫的設(shè)計(jì)、開發(fā)、管理和優(yōu)化,監(jiān)控?cái)?shù)據(jù)庫的性能、故障檢測和排除,包括數(shù)據(jù)采集,數(shù)據(jù)庫架構(gòu)設(shè)計(jì),空間和容量規(guī)劃,性能優(yōu)化,數(shù)據(jù)安全和隱私,數(shù)據(jù)容錯(cuò),等等。
當(dāng)然,在不同的企業(yè)中,職位的名稱和叫法有所不同,或者會(huì)衍生出新的職位,但基本的崗位職責(zé)是類似的。
1、大數(shù)據(jù)系統(tǒng)架構(gòu)師
大數(shù)據(jù)平臺(tái)搭建、系統(tǒng)設(shè)計(jì)、基礎(chǔ)設(shè)施。
技能:計(jì)算機(jī)體系結(jié)構(gòu)、網(wǎng)絡(luò)架構(gòu)、編程范式、文件系統(tǒng)、分布并行處理等。
年薪百萬百度大數(shù)據(jù)架構(gòu)師需要掌握什么技術(shù)?
大數(shù)據(jù)極為龐大。如今每天為我們創(chuàng)造出約2.3萬億GB數(shù)據(jù),這意味著數(shù)據(jù)世界每兩年都將增長一倍。那么,展望即將到來的2018年,大數(shù)據(jù)領(lǐng)域會(huì)出現(xiàn)哪些變化?這些變化又會(huì)給我們造成怎樣的影響!
(1)、我們終將利用暗數(shù)據(jù);
(2)、結(jié)構(gòu)化與非結(jié)構(gòu)化邊界的消失;
(3)、CDO快速崛起;
(4)、量子計(jì)算進(jìn)入公眾視野。
那么,大數(shù)據(jù)架構(gòu)師需要掌握什么技術(shù)?
(1)、統(tǒng)計(jì)分析
大數(shù)定律、抽樣推測規(guī)律、秩和檢測、回歸分析、方差分析等
(2)、可視化輔助工具
Excel、PPT、Xmind、Visio
(3)、大數(shù)據(jù)處理框架
Hadoop、Kaffka、Storm、ELK、Spark
(4)、數(shù)據(jù)庫
SQlite、MySQL、MongoDB、Redis、Cassandra、HBase
(5)、數(shù)據(jù)倉庫/商業(yè)智能
SSIS數(shù)據(jù)倉庫、SSASMDX多維數(shù)據(jù)表Ssrs、DW2.0
(6)、數(shù)據(jù)挖掘工具
Matlab、SAS、SPSS、R、Python
(7)、人工智能/挖掘算法
機(jī)器學(xué)習(xí)、數(shù)據(jù)結(jié)構(gòu)一致性、常用算法
(8)、編程語言
Python、R、Ruby、Java
2、大數(shù)據(jù)系統(tǒng)分析師
面向?qū)嶋H行業(yè)領(lǐng)域,利用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)安全生命周期管理、分析和應(yīng)用。
技能:人工智能、機(jī)器學(xué)習(xí)、數(shù)理統(tǒng)計(jì)、矩陣計(jì)算、優(yōu)化方法。
3、大數(shù)據(jù)開發(fā)工程師
圍繞大數(shù)據(jù)系平臺(tái)系統(tǒng)級(jí)的研發(fā)人員,熟練Hadoop、Spark、Storm等主流大數(shù)據(jù)平臺(tái)的核心框架。深入掌握如何編寫MapReduce的作業(yè)及作業(yè)流的管理完成對數(shù)據(jù)的計(jì)算,熟練掌握Hadoop整個(gè)生態(tài)系統(tǒng)的組件如:Yarn,HBase、Hive、Pig等重要組件,能夠?qū)崿F(xiàn)對平臺(tái)監(jiān)控、輔助運(yùn)維系統(tǒng)的開發(fā)。
通過學(xué)習(xí)一系列面向開發(fā)者的Hadoop、Spark等大數(shù)據(jù)平臺(tái)開發(fā)技術(shù),掌握設(shè)計(jì)開發(fā)大數(shù)據(jù)系統(tǒng)或平臺(tái)的工具和技能,能夠從事分布式計(jì)算框架如Hadoop、Spark群集環(huán)境的部署、開發(fā)和管理工作,如性能改進(jìn)、功能擴(kuò)展、故障分析等。
4、數(shù)據(jù)分析師
不同行業(yè)中,專門從事行業(yè)數(shù)據(jù)搜集、整理、分析,并依據(jù)數(shù)據(jù)做出行業(yè)研究、評估和預(yù)測的專業(yè)人員。在工作中通過運(yùn)用工具,提取、分析、呈現(xiàn)數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)的商業(yè)意義。
作為一名數(shù)據(jù)分析師,至少需要熟練SPSS、STATISTIC、Eviews、SAS、大數(shù)據(jù)魔鏡等數(shù)據(jù)分析軟件中的一門,至少能用Acess等進(jìn)行數(shù)據(jù)庫開發(fā),至少掌握一門數(shù)學(xué)軟件如matalab、mathmatics進(jìn)行新模型的構(gòu)建,至少掌握一門編程語言??傊?,一個(gè)優(yōu)秀的數(shù)據(jù)分析師,應(yīng)該業(yè)務(wù)、管理、分析、工具、設(shè)計(jì)都不落下。
5、數(shù)據(jù)挖掘工程師
做數(shù)據(jù)挖掘要從海量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律,這就需要一定的數(shù)學(xué)知識(shí),最基本的比如線性代數(shù)、高等代數(shù)、凸優(yōu)化、概率論等。經(jīng)常會(huì)用到的語言包括Python、Java、C或者C++,我自己用Python或者Java比較多。有時(shí)用MapReduce寫程序,再用Hadoop或者Hyp來處理數(shù)據(jù),如果用Python的話會(huì)和Spark相結(jié)合。
6、大數(shù)據(jù)實(shí)施工程師:能熟練架設(shè)數(shù)據(jù)庫.大數(shù)據(jù)分析生態(tài)系統(tǒng),通過Hive編寫常見的MapReduce程序。
7、用戶交互技術(shù)工程師
大數(shù)據(jù)所提供的用戶交互方式主要有五種類型,分別是統(tǒng)計(jì)分析和數(shù)據(jù)挖掘、任意查詢和分析、立方體分析、企業(yè)報(bào)表、報(bào)表分發(fā)和預(yù)警,它們在交互程度和用戶群類型及規(guī)模上各有差異。
8、大數(shù)據(jù)可視化工程師
隨著大數(shù)據(jù)在人們工作及日常生活中的應(yīng)用,大數(shù)據(jù)可視化也改變著人類的對信息的閱讀和理解方式。從百度遷徙到谷歌流感趨勢,再到阿里云推出縣域經(jīng)濟(jì)可視化產(chǎn)品,大數(shù)據(jù)技術(shù)和大數(shù)據(jù)可視化都是幕后的英雄。
9、大數(shù)據(jù)采集與管理師
大數(shù)據(jù)浪潮,洶涌來襲,與互聯(lián)網(wǎng)的發(fā)明一樣,這絕不僅僅是信息技術(shù)領(lǐng)域的革命,更是在全球范圍加速企業(yè)創(chuàng)新、引領(lǐng)社會(huì)變革的利器。現(xiàn)代關(guān)系學(xué)之父德魯克有言,預(yù)測未來最好的方法,就是去創(chuàng)造未來。而“大數(shù)據(jù)戰(zhàn)略”,則是當(dāng)下領(lǐng)航全球的先機(jī)?!按髷?shù)據(jù)”(BigData)指一般的軟件工具難以捕捉、管理和分析的大容量數(shù)據(jù)。“大數(shù)據(jù)”之“大”,并不僅僅在于“容量之大”,更大的意義在于:通過對海量數(shù)據(jù)的交換、整合和分析,發(fā)現(xiàn)新的知識(shí),創(chuàng)造新的價(jià)值,帶來“大知識(shí)”、“大科技”、“大利潤”和“大發(fā)展”?!按髷?shù)據(jù)”能幫助企業(yè)找到一個(gè)個(gè)難題的答案,給企業(yè)帶來前所未有的商業(yè)價(jià)值與機(jī)會(huì)。大數(shù)據(jù)同時(shí)也給企業(yè)的IT系統(tǒng)提出了巨大的挑戰(zhàn)。通過不同行業(yè)的“大數(shù)據(jù)”應(yīng)用狀況,我們能夠看到企業(yè)如何使用大數(shù)據(jù)和云計(jì)算技術(shù),解決他們的難題,靈活、快速、高效地響應(yīng)瞬息萬變的市場需求。
10、數(shù)據(jù)安全師
從事數(shù)據(jù)安全的系統(tǒng)管理與監(jiān)測工作,數(shù)據(jù)安全在大數(shù)據(jù)行業(yè)極為重要,因此數(shù)據(jù)安全師的地位遠(yuǎn)遠(yuǎn)高于線下生活中保安的地位。
11、數(shù)據(jù)營銷師
大家一看不算很新,但是實(shí)際上這個(gè)職位與過去的營銷崗位除了有相近的傳播、推廣、溝通說服與信息匯集的功能以外,在今天的數(shù)據(jù)營銷師會(huì)遇到的最大問題是客戶提出了問題,而這個(gè)問題或者需求是原來的大數(shù)據(jù)產(chǎn)品或者技術(shù)不能完全解決的,因此營銷過程帶有較強(qiáng)的探索性溝通與尋求合作研發(fā)的特性。
同時(shí),數(shù)據(jù)營銷師往往需要一定的架構(gòu)能力,而且能夠理解數(shù)據(jù)架構(gòu)的邏輯,從而能夠創(chuàng)造性地推廣前沿性的數(shù)據(jù)產(chǎn)品與服務(wù)。
12、數(shù)據(jù)科學(xué)家
數(shù)據(jù)科學(xué)家是指能采用科學(xué)方法、運(yùn)用數(shù)據(jù)挖掘工具對復(fù)雜多量的數(shù)字、符號(hào)、文字、網(wǎng)址、音頻或視頻等信息進(jìn)行數(shù)字化重現(xiàn)與認(rèn)識(shí),并能尋找新的數(shù)據(jù)洞察的工程師或?qū)<?不同于統(tǒng)計(jì)學(xué)家或分析師)。一個(gè)優(yōu)秀的數(shù)據(jù)科學(xué)家需要具備的素質(zhì)有:懂?dāng)?shù)據(jù)采集、懂?dāng)?shù)學(xué)算法、懂?dāng)?shù)學(xué)軟件、懂?dāng)?shù)據(jù)分析、懂預(yù)測分析、懂市場應(yīng)用、懂決策分析等。
13、大數(shù)據(jù)分析架構(gòu)師
梳理業(yè)務(wù)數(shù)據(jù)的來源、定義、邏輯,根據(jù)多樣化的業(yè)務(wù)需求制定、優(yōu)化報(bào)表;l理解并分析相關(guān)產(chǎn)品和制造流程現(xiàn)狀,根據(jù)業(yè)務(wù)需求分析挖掘數(shù)據(jù)規(guī)律、趨勢、關(guān)注點(diǎn),為產(chǎn)品制造業(yè)務(wù)提供決策支持;l基于海量數(shù)據(jù),通過機(jī)器學(xué)習(xí)和AI的方法,為個(gè)人電腦和手機(jī)產(chǎn)品制造業(yè)務(wù)提供個(gè)性化服務(wù),提升制造效率和質(zhì)量;l負(fù)責(zé)相應(yīng)安全AI模型設(shè)計(jì),研發(fā)適合在業(yè)務(wù)中使用的模型、算法和工具,以支持?jǐn)?shù)據(jù)分析需求和模擬預(yù)測業(yè)務(wù)場景。l結(jié)合業(yè)務(wù)層面數(shù)字化項(xiàng)目,開發(fā)系統(tǒng)數(shù)據(jù)接口及建立分析預(yù)判機(jī)制,實(shí)現(xiàn)數(shù)據(jù)定制可視化、預(yù)警、模擬、決策輔助。
14、大數(shù)據(jù)解決方案架構(gòu)師
負(fù)責(zé)大數(shù)據(jù)業(yè)務(wù)的售前技術(shù)支持,能獨(dú)立進(jìn)行售前工作,包括并不限于客戶需求調(diào)研、解決方案編制和技術(shù)交流;
對競爭產(chǎn)品和方案進(jìn)行競爭分析和對比,對市場競爭形勢進(jìn)行總結(jié);
配合銷售團(tuán)隊(duì)培訓(xùn)代理商合作伙伴,并提供相關(guān)培訓(xùn)和技術(shù)支持;
分析、撰寫和總結(jié)公司產(chǎn)品的行業(yè)應(yīng)用方案。
不同的平臺(tái)對應(yīng)不同的職位
1、數(shù)據(jù)平臺(tái)
DataPlatform,構(gòu)建、維護(hù)穩(wěn)定、安全的大數(shù)據(jù)平臺(tái),按需設(shè)計(jì)大數(shù)據(jù)架構(gòu),調(diào)研選型大數(shù)據(jù)技術(shù)產(chǎn)品、方案,實(shí)施部署上線。對于大數(shù)據(jù)領(lǐng)域涉及到的大多數(shù)技術(shù)都要有所了解,并精通某一部分,具備分布式系統(tǒng)的知識(shí)背景;
對應(yīng)職位:大數(shù)據(jù)架構(gòu)師,數(shù)據(jù)平臺(tái)工程師
2、數(shù)據(jù)采集
DataCollecting,從Web/Sensor/RDBMS等渠道獲取數(shù)據(jù),為大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)來源,如ApacheNutch是開源的分布式數(shù)據(jù)采集組件,大家熟知的Python爬蟲框架ScraPy等。
對應(yīng)職位:爬蟲工程師,數(shù)據(jù)采集工程師
3、數(shù)據(jù)倉庫
DataWarehouse,有點(diǎn)類似于傳統(tǒng)的數(shù)據(jù)倉庫工作內(nèi)容:設(shè)計(jì)數(shù)所倉庫層級(jí)結(jié)構(gòu)、ETL、進(jìn)行數(shù)據(jù)建模,但基于的平臺(tái)不一樣,在大數(shù)據(jù)時(shí)代,數(shù)據(jù)倉庫大多基于大數(shù)據(jù)技術(shù)實(shí)現(xiàn),例如Hive就是基于Hadoop的數(shù)據(jù)倉庫。
對應(yīng)職位:ETL工程師,數(shù)據(jù)倉庫工程師
3、數(shù)據(jù)處理
DataProcessing,完成某些特定需求中的處理或數(shù)據(jù)清洗,在小團(tuán)隊(duì)中是結(jié)合在數(shù)據(jù)倉庫中一起做的,以前做ETL或許是利用工具直接配置處理一些過濾項(xiàng),寫代碼部分會(huì)比較少,如今在大數(shù)據(jù)平臺(tái)上做數(shù)據(jù)處理可以利用更多的代碼方式做更多樣化的處理,所需技術(shù)有Hive、Hadoop、Spark等。隨便說下,千萬不要小看數(shù)據(jù)處理,后續(xù)的數(shù)據(jù)分析、數(shù)據(jù)挖掘等工作都是基于數(shù)據(jù)處理的質(zhì)量,可以說數(shù)據(jù)處理在整個(gè)流程中有特別重要的位置。
對應(yīng)職位:Hadoop工程師,Spark工程師
5、數(shù)據(jù)分析
DataAnalysis,基于統(tǒng)計(jì)分析方法做數(shù)據(jù)分析:例如回歸分析、方差分析等;大數(shù)據(jù)分析例如Ad-Hoc交互式分析,SQLonHadoop的技術(shù)有:Hive、Impala、Presto、SparkSQL,支持OLAP的技術(shù)有:Kylin;
對應(yīng)職位:數(shù)據(jù)分析師
6、數(shù)據(jù)挖掘
DataMining,是一個(gè)比較寬泛的概念,可以直接理解為從大量數(shù)據(jù)中發(fā)現(xiàn)有用的信息。大數(shù)據(jù)中的數(shù)據(jù)挖掘,主要是設(shè)計(jì)并在大數(shù)據(jù)平臺(tái)上實(shí)現(xiàn)數(shù)據(jù)挖掘算法:分類算法、聚類算法、關(guān)聯(lián)分析等。
對應(yīng)職位:數(shù)據(jù)挖掘工程師
7、機(jī)器學(xué)習(xí)
MachineLearning,與數(shù)據(jù)挖掘經(jīng)常一起討論,甚至被認(rèn)為是同一事物。機(jī)器學(xué)習(xí)是一個(gè)計(jì)算機(jī)與統(tǒng)計(jì)學(xué)交叉的學(xué)科,基本目標(biāo)是學(xué)習(xí)一個(gè)x->y的函數(shù)(映射),來做分類或者回歸的工作。之所以經(jīng)常和數(shù)據(jù)挖掘合在一起講是因?yàn)楝F(xiàn)在好多數(shù)據(jù)挖掘的工作是通過機(jī)器學(xué)習(xí)提供的算法工具實(shí)現(xiàn)的,例如個(gè)性化推薦,是通過機(jī)器學(xué)習(xí)的一些算法分析平臺(tái)上的各種購買,瀏覽和收藏日志,得到一個(gè)推薦模型,來預(yù)測你喜歡的商品。
對應(yīng)職位:算法工程師,研究員
8、深度學(xué)習(xí)
DeepLearning,是機(jī)器學(xué)習(xí)里面的一個(gè)topic(非常火的Topic),從深度學(xué)習(xí)的內(nèi)容來看其本身是神經(jīng)網(wǎng)絡(luò)算法的衍生,在圖像、語音、自然語言等分類和識(shí)別上取得了非常好的效果,大部分的工作是在調(diào)參。不知道大家有否發(fā)現(xiàn)現(xiàn)在的Google翻譯比以前的要準(zhǔn)確很多,因?yàn)镚oogle在去年底將其Google翻譯的核心從原來基于統(tǒng)計(jì)的方法換成了基于神經(jīng)網(wǎng)絡(luò)的方法;
對應(yīng)職位:算法工程師,研究員
9、數(shù)據(jù)可視化
DataVisualization,將分析、挖掘后的高價(jià)值數(shù)據(jù)用比較優(yōu)美、靈活的方式展現(xiàn)在老板、客戶、用戶面前,更多的是一些前端的東西,也可能要求有一定的美學(xué)知識(shí)。結(jié)合使用者的喜好,以最恰當(dāng)?shù)姆绞匠尸F(xiàn)數(shù)據(jù)價(jià)值;
對應(yīng)職位:數(shù)據(jù)工程師,BI工程師
10、數(shù)據(jù)應(yīng)用
DataApplication,從以上的每個(gè)部分可以衍生出的應(yīng)用,例如廣告精準(zhǔn)投放、個(gè)性化推薦、用戶畫像等。
對應(yīng)職位:數(shù)據(jù)工程師
從數(shù)據(jù)科學(xué)家到數(shù)據(jù)架構(gòu)師,大數(shù)據(jù)職場中的核心新崗位
任何新行業(yè)興起的時(shí)候必然伴隨著行業(yè)的深化與細(xì)化,伴隨著新職業(yè)崗位的生長,大數(shù)據(jù)行業(yè)也不例外。大家都說大數(shù)據(jù),很多人甚至省略掉了數(shù)據(jù),其實(shí)我們今天很多朋友做的最多算數(shù)據(jù)行業(yè),還遠(yuǎn)不是大數(shù)據(jù)行業(yè),因?yàn)檫€沒有做數(shù)據(jù)源的整合、不同結(jié)構(gòu)數(shù)據(jù)源的清理與對接、數(shù)據(jù)的貫通分析與實(shí)時(shí)共享;即使已經(jīng)是大數(shù)據(jù)行業(yè),那么屬于大數(shù)據(jù)硬件行業(yè)(如制造、銷售、管理大數(shù)據(jù)服務(wù)器)還是軟件行業(yè)(開發(fā)大數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)內(nèi)容的軟件化整合與開發(fā)應(yīng)用)也是不一樣的;就算同是大數(shù)據(jù)軟件行業(yè),那么是屬于數(shù)據(jù)庫管理與運(yùn)行維護(hù),還是屬于數(shù)據(jù)應(yīng)用就是差異行業(yè);同樣是數(shù)據(jù)應(yīng)用行業(yè),數(shù)據(jù)資源的轉(zhuǎn)移應(yīng)用與精準(zhǔn)匹配應(yīng)用,與基于深度分析的決策應(yīng)用,也是深度細(xì)分的差異行業(yè);在大數(shù)據(jù)決策應(yīng)用行業(yè)中,基于大數(shù)據(jù)分析的人工應(yīng)用模式與基于大數(shù)據(jù)智能的自動(dòng)化應(yīng)用模式,可以看成不同的技術(shù)含量的精度細(xì)分行業(yè)。零點(diǎn)有數(shù)就是屬于最后這個(gè)類別的大數(shù)據(jù)智能應(yīng)用服務(wù)機(jī)構(gòu)。
而在這樣的行業(yè)中,我們會(huì)看到不少新興的職業(yè)崗位興起,其中不少人已經(jīng)對數(shù)據(jù)科學(xué)家這一說法有認(rèn)識(shí),他們往往是數(shù)據(jù)模型或者說算法的設(shè)計(jì)者,也是復(fù)雜算法的修正優(yōu)化與管理者;數(shù)據(jù)營銷師,大家一看不算很新,但是實(shí)際上這個(gè)職位與過去的營銷崗位除了有相近的傳播、推廣、溝通說服與信息匯集的功能以外,在今天的數(shù)據(jù)營銷師會(huì)遇到的最大問題是客戶提出了問題,而這個(gè)問題或者需求是原來的大數(shù)據(jù)產(chǎn)品或者技術(shù)不能完全解決的,因此營銷過程帶有較強(qiáng)的探索性溝通與尋求合作研發(fā)的特性;數(shù)據(jù)工程師是與數(shù)據(jù)科學(xué)家合作實(shí)施具體的數(shù)據(jù)管理與開發(fā)工作的技術(shù)白領(lǐng),今天絕大部分?jǐn)?shù)據(jù)工程師是邊干邊學(xué),一般他們往往是學(xué)習(xí)計(jì)算機(jī)或者數(shù)據(jù)科學(xué)出身的初級(jí)專業(yè)人員;數(shù)據(jù)挖掘師,在海量數(shù)據(jù)中從事數(shù)據(jù)分類、清洗、標(biāo)簽與檢核工作;數(shù)據(jù)安全師,從事數(shù)據(jù)安全的系統(tǒng)管理與監(jiān)測工作,數(shù)據(jù)安全在大數(shù)據(jù)行業(yè)極為重要,因此數(shù)據(jù)安全師的地位遠(yuǎn)遠(yuǎn)高于線下生活中保安的地位。在所有這些崗位以外,有一個(gè)崗位往往是很少為人提及,但實(shí)際上至為重要的,那就是數(shù)據(jù)架構(gòu)師。數(shù)據(jù)架構(gòu)師需要判斷在某一領(lǐng)域、行業(yè)的基本趨勢與特點(diǎn),熟悉開放式關(guān)鍵中的最佳標(biāo)桿與前沿和典型做法,對于半封閉與體系內(nèi)需要具備敏銳與犀利的洞察能力,由此而能來定義數(shù)據(jù)應(yīng)用任務(wù)或者項(xiàng)目的目標(biāo)與疆界、核心工作內(nèi)容與指標(biāo)、路線圖與時(shí)間表,其中涉及到在多大意義上要體現(xiàn)本任務(wù)與宏觀需要的契合、與周圍可能有的其他關(guān)聯(lián)系統(tǒng)的對接口、要素保障與條件保障、危機(jī)測定與安全管理機(jī)制。架構(gòu)師需要將總體目標(biāo)、要素關(guān)系、推進(jìn)步驟能夠在合理構(gòu)設(shè)中藍(lán)圖化與實(shí)現(xiàn)優(yōu)化整合。與設(shè)計(jì)師不同的是,架構(gòu)師不只是藍(lán)圖設(shè)計(jì)者,也是藍(lán)圖可行性的負(fù)責(zé)人與推進(jìn)者、協(xié)調(diào)者。
盡管我們在前面描述大數(shù)據(jù)行業(yè)的時(shí)候有一種介紹序列,其實(shí)在實(shí)際的大數(shù)據(jù)應(yīng)用中,我們可以反過來看我們的大數(shù)據(jù)需要,然后設(shè)定我們在大數(shù)據(jù)應(yīng)用、軟硬件建設(shè)中的需要,這也是數(shù)據(jù)架構(gòu)師所可能設(shè)計(jì)的工作內(nèi)容。而我們所說的數(shù)據(jù)科學(xué)家,在一定程度上是鏈接與細(xì)化數(shù)據(jù)架構(gòu)師工作的,而數(shù)據(jù)營銷師往往需要一定的架構(gòu)能力,而且能夠理解數(shù)據(jù)架構(gòu)的邏輯,從而能夠創(chuàng)造性地推廣前沿性的數(shù)據(jù)產(chǎn)品與服務(wù)。如果我能夠大致提出一個(gè)典型大數(shù)據(jù)智能服務(wù)機(jī)構(gòu)中這幾類崗位的人員比例,那么它們大致是:數(shù)據(jù)架構(gòu)師:數(shù)據(jù)營銷師:數(shù)據(jù)科學(xué)家:數(shù)據(jù)工程師:數(shù)據(jù)挖掘師:數(shù)據(jù)安全師=1:2:3:30:60:5。而從人才市場的供應(yīng)來說,實(shí)際上越是后面的崗位越是可以依靠專業(yè)機(jī)構(gòu)培訓(xùn)的,越是前面的人才往往是在一定專業(yè)基礎(chǔ)上在實(shí)際工作涌現(xiàn)的具有特殊技能的營運(yùn)人才而需要數(shù)據(jù)機(jī)構(gòu)領(lǐng)導(dǎo)人去留心發(fā)現(xiàn)。
由于國內(nèi)高校2016年開始開設(shè)大數(shù)據(jù)本科專業(yè),目前還沒有畢業(yè)生流向市場,造成人才嚴(yán)重短缺,所以大數(shù)據(jù)人才待遇較高。
初級(jí)崗位(3—5年):15000—25000月/元;
中級(jí)崗位(5—10年):25000—35000月/元;
高級(jí)崗位(10年以上):40—100萬/年。
如大數(shù)據(jù)系統(tǒng)架構(gòu)師、大數(shù)據(jù)分析架構(gòu)師、數(shù)據(jù)科學(xué)家等。
總之,選擇大數(shù)據(jù)專業(yè),從事大數(shù)據(jù)工作,待遇高,前景好!