BI工程師數據倉庫工程師ETL工程師數據開發工程師大數據開發工程師?
BI工程師、數據倉庫工程師、ETL工程師、數據開發(大數據開發)工程師以及數據中臺工程師,嚴格意義上都屬于商業智能數據分析領域的專業崗位。各崗位既有明確的任務分工,又相互關聯。在大型項目中,各崗位都有具體的負責人和工作內容。中小型項目中,很多角色是混合型的,比如BI工程師,也會負責數倉的設計和ETL的開發。各崗位之間的知識體系具有共通性。
1、BI工程師:
BI工程師,主要是做數據分析,數據倉庫,以及相關報表,對一些數據進行處理,對數據庫要有比較深入的了解。
BI工程師需要有一定的數據庫經驗,掌握SQL查詢優化方法,精通Oracle、SQL Server、MySQL等主流數據庫的應用設計、性能調優及存儲過程的開發.掌握BI相關工具,如ETL工具(如SSIS)、OLAP工具(如SSAS)和前端展示工具.熟悉ETL邏輯、OLAP設計和數據挖掘相關算法.
職位信息
1. 統計、數學、信息技術、計算機相關專業,有相關工作經歷;2. 熟練運用SQL等工具,有豐富的數據分析、挖掘、清洗和建模的經驗,能高效的與數據技術團隊進行溝通;3. 良好的數據敏感度能從海量數據,包括外部數據和定性數據中,提煉核心結果,解決實際問題,創造實際價值;4. 有客戶數據模型建立和運營經驗、數據化運營經驗、數據類產品類規劃經驗者優先;5. 熟悉數據分析工具(SAS、R、Python)、可視化工具(Tableau、Wyn Enterprise)、數據工具(ETL Hive HQL)的優先2、數據倉庫工程師
"數據倉庫工程師" 的概念比較籠統, 先解釋"數據倉庫" 吧, 顧名思義是近乎企業所有業務系統數據的集合體, 用于分析與決策支持. 而做與數據倉庫的建設/維護項目相關的工作, 均可以稱之為"數據倉庫工程師"
職位信息
崗位職責:1、負責數據倉庫項目數據源分析工作;2、負責模型設計師完成數據倉庫項目模型設計工作;3、負責數據倉庫項目ETL詳細設計、開發、部署工作;4、負責數據倉庫項目上線后的ETL維護與支持,數據質量及保障體系建設。任職要求:1、***統招本科,計算機相關專業,4年以上數倉工作經驗;2、具有數據倉庫、ETL、大數據開發等相關項目經驗,對數據倉庫、數據平臺、數據分析等領域有深刻的理解、有豐富的數據架構經驗和大型項目落地經驗尤佳;3、優秀的數據分析和解決問題的能力,能夠把理論成功應用于實踐;4、對spark,presto有了解,熟悉spark的原理,能比較熟練的使用spark dataset進行開發;5、熟悉Hadoop生態,有Hadoop streamng開發經驗;6、熟悉azkban或者airflow調度平臺其中的一種;7、熟悉Linux,熟練掌握shell、Python等腳本語言;8、具備一定的JAVA、Python語言的開發能力,具備機器學習算法能力尤佳;9、***或***院校計算機相關專業優先,大型互聯網企業或大型保險企業數據倉庫從業經驗者優先;10、有ALI、AWS大數據開發套件的優先;11、工作踏實認真、責任心強,具備良好的學習能力、溝通能力,能夠承受一定的工作壓力。
3、ETL工程師
職位信息
工作職責: 1、 負責數據倉庫中ETL流程的優化以及數據倉庫系統實施過程中ETL相關技術問題的解決; 2、 針對數據倉庫應用系統的數據處理需求,對保險業務數據進行分析,完成數據倉庫的數據抽取、轉換和裝載過程; 3、 根據用戶需求,設計數據模型,及前臺展示頁面的開發;參與公司數據信息分析設計及商業智能研究, 為公司決策分析提供技術支持;4. 工作中對數據平臺基礎設施、數據內容建設等工作主動深度思考,提升效能并積極建言、促進組織和系統發展; 5. 其他根據部門需要安排事宜;任職資格: 1、大學本科或以上學歷,工作3-5年; 2、較強的數據分析能力,有數據倉庫系統ETL工作經驗; 3、精通至少一種數據庫開發技術:Oracle、Teradata、DB2、Mysql等,精通并靈活運用SQL實現海量數據ETL加工處理 ; 4、熟悉ETL工具Kettle、Informatica等;5、熟悉Linux系統常規shell處理命令,靈活運用shell做的文本處理和系統操作; 6、工作認真、負責,有良好的團隊合作精神,良好的分析能力與溝通技巧。
4、數據開發工程師
職位信息
崗位要求 1. 計算機相關專業畢業,大學本科及以上學歷,2年以上工作經驗(企業級數據倉庫項目的實踐經驗),具備一定數據需求分析經驗;2. 熟練使用PL/SQL語言能進行數據開發和優化,熟練掌握Oracle、MySQL等至少一種數據庫(RDBMS)的使用;3. 熟悉LINUX操作系統,熟練使用包括但不限于Python、R、SHELL等工具及語言;4. 有數據倉庫或管理信息系統ETL開發與實施經驗,熟練掌握ETL工具包括但不限于Oracle Ogg、kettle、datax等;5. 工作認真踏實、負責、仔細,有良好的團隊合作精神,良好的分析能力、溝通技巧。職位職責描述:1. 負責ETL的設計、開發、調度與監控;2. 通過PL/SQL或腳本(Python, R,SHELL)等方式實現業務需求,完成數據分析、挖掘、加工處理;3. 針對用戶需求,提出數據解決方案,并負責完成數據開發工作;4. 參與數據倉庫和大數據平臺的環境搭建、架構設計和數據開發;5. 能獨立與相關業務需求方、技術系統負責人溝通,獲得開發所需的各種信息。