Oracle Cloud Data Preparation(OCDP)是一種用于數(shù)據(jù)集成和數(shù)據(jù)準(zhǔn)備的云服務(wù)。它優(yōu)雅地解決了現(xiàn)代企業(yè)面臨的大量數(shù)據(jù)的典型問(wèn)題:數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)湖和其他存儲(chǔ)庫(kù)中的數(shù)據(jù)量不斷增長(zhǎng),通常以不同于它們?cè)聪到y(tǒng)的方式存儲(chǔ);企業(yè)數(shù)據(jù)分析人員的數(shù)量增加,但它們從不專注于數(shù)據(jù)的所有方面;當(dāng)數(shù)據(jù)格式、質(zhì)量和完整性需要有所改善或調(diào)整時(shí),經(jīng)常需要數(shù)據(jù)支持團(tuán)隊(duì)而非分析人員。
通過(guò) OCDP,Oracle 使得數(shù)據(jù)準(zhǔn)備的復(fù)雜度非常低,且不需要任何編碼。以下是 OCDP 最常規(guī)的使用情形:
+------------+ +--------+ +---------------+ +-----------------+ | Source | | Target | | Transformation| |Data Validation | | | | | | Pipeline | ... | and Enrichment | | CSV, Excel | | Oracle | | Join | | Search & Replace| | | | Object | | Filter | | | +------------+ +--------+ +---------------+ +-----------------+
在上圖中,我們可以看到 OCDP 所提供的KPI有:源數(shù)據(jù)(圖左側(cè))及目標(biāo)元數(shù)據(jù) (圖右側(cè)),以及數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)驗(yàn)證和數(shù)據(jù)增強(qiáng)過(guò)程 (中央)。該過(guò)程可以通過(guò)可視化工具操作,而無(wú)需編寫(xiě)一行代碼。
除此之外,OCDP 還支持直接獲取數(shù)據(jù)源。例如,一個(gè)數(shù)據(jù)分析人員需要從一個(gè) Web 服務(wù)或者從企業(yè)內(nèi)部的 API 中提取數(shù)據(jù)。這時(shí),只需要使用 OCDP 的 web 模塊來(lái)配置直接從數(shù)據(jù)源中抽取數(shù)據(jù)即可。
+------------------+ | For example: | | | +--------v--------+ +-------v------------+ | Web Service | | Enterprise API | | Oracle Dataflow | | Oracle Dataflow | +--------^--------+ +-------^------------+ | | +------------------+
在上述示例中,Web 服務(wù)或以 API 的形式提供的企業(yè)數(shù)據(jù)源直接通過(guò) oracle dataflow 實(shí)現(xiàn)??輸入到 OCDP 中。這有效地減少了數(shù)據(jù)分析和數(shù)據(jù)處理的復(fù)雜度。
坦率地說(shuō),OCDP 的核心是一個(gè)提供了很多快速連接和工具的現(xiàn)有數(shù)據(jù)存儲(chǔ)庫(kù)。OCDP 與 Oracle 數(shù)據(jù)庫(kù)(及其云版本)完全兼容。更重要的是,數(shù)據(jù)可以從各種存儲(chǔ)和應(yīng)用程序中導(dǎo)入。采用 CSV、JSON、txt、Excel 等格式的文件均可輕松加載到 OCDP 中,此外,OCDP 還支持 開(kāi)源的 Apache Hive 和 Apache Spark。除了導(dǎo)入,OCDP 與 Oracle 數(shù)據(jù) lake 一起維護(hù)數(shù)據(jù)河的安全和速度。
總之,OCDP 是一個(gè)強(qiáng)大而靈活的云服務(wù)解決方案,可隨時(shí)擴(kuò)展以應(yīng)對(duì)當(dāng)前和未來(lái)不斷增長(zhǎng)的數(shù)據(jù)需求。從上面的例子中可以看出,OCDP 降低了數(shù)據(jù)處理的復(fù)雜度,尤其是當(dāng)企業(yè)數(shù)據(jù)量和數(shù)據(jù)格式多樣時(shí)。通過(guò) OCDP,企業(yè)不必再花費(fèi)大量的時(shí)間和資源來(lái)處理數(shù)據(jù),而是可以專注于分析。