在選擇數(shù)據(jù)集成工具前,先要了解自身企業(yè)現(xiàn)有的應(yīng)用系統(tǒng)的業(yè)務(wù)邏輯,要知道都有哪些系統(tǒng)、哪些數(shù)據(jù)、哪些要集成。大多數(shù)人認為數(shù)據(jù)集成就是將各系統(tǒng)數(shù)據(jù)整合到一處,這里很容易忽略一點,就是數(shù)據(jù)的準確性、唯一性和權(quán)威性。想要數(shù)據(jù)集成就先要進行數(shù)據(jù)治理,如果數(shù)據(jù)源頭都不準確,是臟數(shù)據(jù),那將數(shù)據(jù)集成起來也就大打折扣了。
所以說對于選擇數(shù)據(jù)集成工具時,最好選用可以先治理數(shù)據(jù)后集成數(shù)據(jù)的工具,保證數(shù)據(jù)集成贏在起跑線。而現(xiàn)在大多數(shù)數(shù)據(jù)集成工具,都停留在只集不治的狀態(tài),所以需要我們企業(yè)從實際情況出發(fā),合理選擇數(shù)據(jù)集成工具。通常來說應(yīng)用系統(tǒng)之間集成選用ESB、流程數(shù)據(jù)集成選BPM、數(shù)倉項目建設(shè)選擇ETL工具如Kettle,主數(shù)據(jù)治理項目選擇MDM產(chǎn)品、跨網(wǎng)絡(luò)數(shù)據(jù)傳輸選擇DXP數(shù)據(jù)交換平臺、數(shù)據(jù)分析項目選擇DAP數(shù)據(jù)分析平臺、大數(shù)據(jù)項目數(shù)據(jù)集成選擇Sqoop、FlumeNG等。
在綜合數(shù)據(jù)治理分析項目過程中要強調(diào)數(shù)據(jù)質(zhì)量、多端展現(xiàn)(手機、PC、大屏)、數(shù)據(jù)挖掘預(yù)測,數(shù)通暢聯(lián)推薦MDM+DBP+DAP三款產(chǎn)品組合,MDM實現(xiàn)基礎(chǔ)數(shù)據(jù)的治理,保障數(shù)據(jù)源頭的質(zhì)量;DBP數(shù)據(jù)總線平臺實現(xiàn)數(shù)據(jù)數(shù)據(jù)分發(fā)同步、數(shù)據(jù)交換傳輸、大數(shù)據(jù)的ETL處理;DAP數(shù)據(jù)分析平臺實現(xiàn)元數(shù)據(jù)管理、數(shù)據(jù)調(diào)度監(jiān)控、數(shù)據(jù)分析可視化,預(yù)制各種算法庫、以數(shù)據(jù)超市方式提供各種OpenAPI供業(yè)務(wù)系統(tǒng)使用,三個產(chǎn)品組合相互協(xié)作實現(xiàn)數(shù)據(jù)跟業(yè)務(wù)的深度融合,真正實現(xiàn)數(shù)據(jù)的價值。