數據的利用在近幾年越來越受到重視,數據管理也成為各個企業逐步開展的信息化建設手段,從信息化建設角度來說數據管理是從整個數據生命周期來進行管控,包括:數據管理方案的制定、數據管理相關工具的選定、數據管理實施團隊的選擇、數據流程梳理、數據的采集、清洗、交換、存儲、利用、安全、維護等一系列步驟。
1.數據管理方案制定:包括評估用戶對數據的需求,根據數據需求建立正確的數據管理策略,全方位滿足企業內外部對數據的需求,方案中包括下面將要闡述的數據管理框架、數據標準制定、數據采集、清洗、轉換、存儲、安全、利用、測試等內容,做到整體規劃。
2.工具及團隊的選擇:在明確具體管理方案后,就需要根據方案進行工具及實施團隊的選擇,因為數據管理涉及不同類型的平臺或數據庫等相關產品與技術,工具的選型上注重兼容性、集成性、擴展性,已達到彼此之間的無縫融合、發揮合力,在團隊上盡可能選擇原廠商實施交付,保證及時解決問題的能力。
3.數據流程的梳理:在數據流程梳理方面,首先制定數據管理的框架,將企業內外部數據使用的部門、關系走向、彼此之間的聯系梳理明確,之后將其串聯成一個整體,滿足后續采集、清洗、存儲分析等要求。
4.數據采集:明確數據管理中需要的數據,進行內外部線上、線下的數據采集、抽取、挖掘,包括內外部格式化數據、半格式化、非格式化數據等,保證數據利用時,數據的可用性、全面性。
5.數據治理:數據治理包括對主數據和元數據的治理,主數據治理為對所用主數據的申請、審批、校驗、分發,數據建模、數據清洗、數據管理流程配置、系統管理等操作,保證數據的一致性、完整性、準確性;元數據治理為方便數據倉庫保存信息的管理所做的操作,以實現各類技術術語與流程在企業內部的統一定義。
6.數據轉換、合并:對采集到的業務數據進行格式轉換,使之標準化,為后續對數據的進一步利用奠定基礎,數據的合并,一方面將數據進行集成,實現數據間的共享,另一方面將不同字段信息合并,組成新的字段、數據等,完成對分散數據的整合工作。
7.數據存儲與分析展現:數據存儲即建立數據的存儲與計算中心,與搭建數倉結合,根據不同的數據特征,通過數據分析算法,進行數據統計分析、實時流處理,機器學習和圖計算等,最終通過展現工具將結果以圖形化、圖表化多種方式展現出來。
8.數據安全與維護:加強內部安全管理手段,制定數據管理策略及選擇數據加密工具,配備數據安全管理人員,達到從使用源頭、管理手段上的優化,同時建立數據的維護策略體系,在不斷優化迭代的基礎上,發現數據管理的不足之后,從而進行調整改革,過程中保持與時俱進,適當融入新技術、理念,在數據安全、分析、管理工具和手段上保持同步。