今日分享《平臺型數(shù)據(jù)產(chǎn)品經(jīng)理能力體系》，帶大家了解大數(shù)據(jù)時代平臺型數(shù)據(jù)產(chǎn)品經(jīng)理需要具備的能力和知識。主要圍繞以下四點來展開討論：
1.大數(shù)據(jù)的歷史與未來2.認(rèn)識平臺型數(shù)據(jù)產(chǎn)品經(jīng)理3.平臺型數(shù)據(jù)產(chǎn)品經(jīng)理的核心能力4.離線數(shù)倉構(gòu)建流程平臺型數(shù)據(jù)產(chǎn)品經(jīng)理的能力體系涉及內(nèi)容繁多，但是篇幅有限，所以許多內(nèi)容不會展開去講，本文重點講解整體的能力體系框架，以及其中關(guān)鍵的部分。
--
分享嘉賓｜張朋威帆軟軟件高級產(chǎn)品經(jīng)理
編輯整理｜李本培中地數(shù)碼
出品社區(qū)｜DataFun
大數(shù)據(jù)未來發(fā)展趨勢
第一個趨勢是批處理到近實時處理。隨著時代的發(fā)展，企業(yè)對實時性要求越來越高，比如電商類銷售和監(jiān)控的場景，需要建立近乎實時的數(shù)據(jù)倉庫，有利于分析最新數(shù)據(jù)并加快決策速度。第二個是智能化的方向。即引入人工智能的方式去進(jìn)行數(shù)據(jù)治理，通過這種方式去解決傳統(tǒng)數(shù)據(jù)治理等過程中響應(yīng)速度慢，開發(fā)成本高等問題。第三個是開源產(chǎn)品到商業(yè)化產(chǎn)品。時至今日，大數(shù)據(jù)開源產(chǎn)品依然是國內(nèi)許多企業(yè)開發(fā)數(shù)據(jù)平臺的技術(shù)選型。但開源產(chǎn)品使用門檻比較高，維護(hù)服務(wù)對企業(yè)不夠友好。未來商業(yè)化產(chǎn)品會逐步在許多場景下替代開源產(chǎn)品，尤其是對于需求不太復(fù)雜的中小型企業(yè)。
認(rèn)識平臺型數(shù)據(jù)產(chǎn)品經(jīng)理
1.數(shù)據(jù)產(chǎn)品是什么
數(shù)據(jù)產(chǎn)品用來降低用戶使用數(shù)據(jù)門檻，提高數(shù)據(jù)的價值，從生產(chǎn)采集、存儲處理、分析展示到挖掘應(yīng)用的全鏈路，都可以稱之為數(shù)據(jù)產(chǎn)品。進(jìn)一步細(xì)分，還可以分為面向企業(yè)內(nèi)部，面向用戶，以及面向外部企業(yè)等類型。
2.數(shù)據(jù)產(chǎn)品經(jīng)理是什么
數(shù)據(jù)產(chǎn)品經(jīng)理就是負(fù)責(zé)設(shè)計、維護(hù)和優(yōu)化數(shù)據(jù)產(chǎn)品的人。通常情況，數(shù)據(jù)產(chǎn)品經(jīng)理分了三個方向：第一類方向是平臺型數(shù)據(jù)產(chǎn)品經(jīng)理，主要負(fù)責(zé)數(shù)據(jù)采集、清洗、存儲、發(fā)布；第二類是分析應(yīng)用型的產(chǎn)品經(jīng)理，主要負(fù)責(zé)數(shù)據(jù)分析、展示及應(yīng)用；第三類是策略算法型，主要集中在數(shù)據(jù)挖掘應(yīng)用環(huán)節(jié)，聚焦于探索、推薦、風(fēng)控的數(shù)據(jù)策略和模型部分。
平臺型數(shù)據(jù)產(chǎn)品經(jīng)理核心能力
平臺型數(shù)據(jù)產(chǎn)品經(jīng)理能力樹如下，可以總結(jié)梳理為3大類11個技能點。
1.通用能力
平臺型數(shù)據(jù)產(chǎn)品經(jīng)理首先需要具備產(chǎn)品經(jīng)理所具備的一些技術(shù)能力：- 一是需求洞察，在面對用戶提需求的時候，要了解用戶遇到的問題，需要解決哪些問題，了解需求產(chǎn)生的背景以及目的，從而挖掘用戶最本質(zhì)的需求是什么。同時，針對不同用戶或者不同的需求方，能夠把不同的需求進(jìn)行歸類分解，提煉出通用需求，并設(shè)置優(yōu)先級，該能力是產(chǎn)品經(jīng)理非常重要的一個能力。
- 二是方案設(shè)計，在基于業(yè)務(wù)需求構(gòu)思可行的方案并進(jìn)行決策選擇的時候，哪些方案能夠滿足用戶真實需求，哪些方案實現(xiàn)成本最低，哪些方案未來長期的可維護(hù)性最高，都需要產(chǎn)品經(jīng)理進(jìn)行決策。
- 三是項目管理能力，產(chǎn)品開發(fā)的每個迭代周期需要把開發(fā)計劃進(jìn)行拆解出不同的里程碑。通過里程碑的設(shè)計，提前進(jìn)行任務(wù)排期、風(fēng)險管控，從而有利于在開發(fā)過程中進(jìn)行進(jìn)度跟進(jìn)、風(fēng)險識別及處理等。以上都是產(chǎn)品經(jīng)理需要具備的通用能力。
2.專業(yè)思維
專業(yè)思維主要包括四點：第一點是統(tǒng)一標(biāo)準(zhǔn)，產(chǎn)品經(jīng)理經(jīng)常會與指標(biāo)打交道，在面對多類型指標(biāo)時，需要達(dá)成統(tǒng)一標(biāo)準(zhǔn)。以增長率為例，A部門的增長率和B部門的增長率，背后的計算邏輯可能不一樣，或者兩個部門有兩個指標(biāo)，看起來計算邏輯是一樣，但是名稱不一樣，這些都需要去考慮并完成標(biāo)準(zhǔn)統(tǒng)一，從而降低后續(xù)維護(hù)成本和用戶使用成本。第二點是分層設(shè)計，在進(jìn)行指標(biāo)拆解的時候，要遵循分層的原則，拆解出通用的指標(biāo)，避免從最底層穿透到最上層直接進(jìn)行數(shù)據(jù)開發(fā)。第三點是數(shù)據(jù)共享，要能夠整合、提煉出共性需求，再進(jìn)行開發(fā)，在縮減開發(fā)成本的同時提高產(chǎn)品未來的可維護(hù)性。第四點是價值驅(qū)動，數(shù)據(jù)的價值要以能夠帶來整體價值作為評估標(biāo)準(zhǔn)，面向價值的理念要貫穿需求評估、產(chǎn)品設(shè)計及開發(fā)應(yīng)用全流程。
3.專業(yè)能力
平臺型數(shù)據(jù)產(chǎn)品經(jīng)理的專業(yè)能力和其他類型產(chǎn)品經(jīng)理需具備的專業(yè)能力差異比較大，主要體現(xiàn)在四個方面：- 第一個方面是技術(shù)能力，有些企業(yè)會把諸多職能放到一起作為平臺型數(shù)據(jù)產(chǎn)品經(jīng)理的崗位，例如需要做ETL開發(fā)建模相關(guān)的工作，那么對該崗位能力要求比較高。但是如果企業(yè)內(nèi)這個崗位是比較細(xì)分的，例如只需要做整體需求的分析、發(fā)展規(guī)劃和項目管理等工作，技術(shù)要求比較低。
- 第二個方面是基礎(chǔ)知識，大數(shù)據(jù)平臺型數(shù)據(jù)產(chǎn)品經(jīng)理，需要掌握大數(shù)據(jù)領(lǐng)域相關(guān)的知識。雖然不要求去理解每一個技術(shù)或產(chǎn)品背后的原理，但是這些技術(shù)產(chǎn)品的概念或使用邏輯需要掌握。
- 第三方面是知識體系，在設(shè)計數(shù)倉的分層設(shè)計以及分解指標(biāo)的時候，需要一套方法論（PPT中列舉出來一些書籍供參考）。
- 第四個方面是工具的使用，工具主要分為ETL工具、建模工具、數(shù)據(jù)庫管理工具等（建議基于企業(yè)自身情況去進(jìn)行學(xué)習(xí)使用）。
接下來在各個能力項里面選一些典型的知識，做一些概述性的講解。
4.Hadoop生態(tài)體系
掌握大數(shù)據(jù)開發(fā)需要先了解Hadoop生態(tài)，因為它是最早成熟的傳統(tǒng)數(shù)倉開發(fā)架構(gòu)，至今依然被諸多企業(yè)使用，另外Hadoop生態(tài)非常完整，當(dāng)熟悉了各個產(chǎn)品的作用，后續(xù)再去接觸其他大數(shù)據(jù)開發(fā)相關(guān)的產(chǎn)品，都能夠快速理解其在數(shù)據(jù)開發(fā)體系中發(fā)揮的作用。
5.技術(shù)名稱
接下來再分享一些基礎(chǔ)的技術(shù)名詞，如圖所示：
6.工具使用
下面是幾個常見的數(shù)據(jù)平臺開發(fā)工具，可以基于公司采購情況和個人的情況選擇學(xué)習(xí)。
7.數(shù)據(jù)平臺架構(gòu)
數(shù)據(jù)平臺通常分離線數(shù)據(jù)平臺和實時數(shù)據(jù)平臺。離線數(shù)據(jù)平臺和實時數(shù)據(jù)平臺的整體架構(gòu)有兩個明顯差異點，首先，離線數(shù)據(jù)平臺是定時的采集，離線的開發(fā)；另外，離線數(shù)據(jù)倉庫是分層的理念，包括ODS層，匯總層、明細(xì)層、集市層等，實時數(shù)據(jù)平臺沒有這種分層理念。
實時數(shù)據(jù)平臺顯著的特點是數(shù)據(jù)實時采集，最常用的技術(shù)就是基于日志解析，它并不是直接去讀取數(shù)據(jù)庫的文件，而是基于數(shù)據(jù)庫變更的日志去解析提取出變化的數(shù)據(jù)，然后再同步到目標(biāo)端，目標(biāo)端通常用消息中間件來接收，如：Kafka，再給后面的流式計算引擎應(yīng)用（如Flink），最終再輸出到目標(biāo)端供消費。
離線數(shù)倉構(gòu)建流程
接下來分享離線數(shù)倉構(gòu)建的流程。
1.離線數(shù)倉建設(shè)兩種方法
離線數(shù)倉構(gòu)建有兩個方法，一種是自上而下，一種是自下而上。自上而下指的是從企業(yè)整體出發(fā)，去梳理各個部門的指標(biāo)、需求，然后進(jìn)行統(tǒng)一的設(shè)計。
自上而下構(gòu)建要求層次特別清晰，且遵循第三范式，避免數(shù)據(jù)冗余，優(yōu)勢是結(jié)構(gòu)比較清晰，缺點是梳理設(shè)計開發(fā)的流程會很緩慢。自下而上特點是面向分析，面向主題，例如A部門有分析需求，就針對A部門的分析需求去建主題，去進(jìn)行設(shè)計開發(fā)，B部門有分析需求，再針對B部門去做分析主題，最終不同的分析主題形成一個大的數(shù)據(jù)倉庫，問題在于會有數(shù)據(jù)冗余，會出現(xiàn)數(shù)據(jù)孤島等現(xiàn)象。如果公司層面有大量資源投入，部門之間協(xié)調(diào)推進(jìn)能力比較強，可以用第一種，但如果企業(yè)需要快速的看到成效，得到結(jié)果，追求性能，可以選擇第二種，通常情況下兩種結(jié)合起來去用。
2.離線數(shù)倉構(gòu)建流程
離線數(shù)倉構(gòu)建流程分成六大步。第一步是需求調(diào)研，需要收集業(yè)務(wù)部門的數(shù)據(jù)需求，確定數(shù)據(jù)指標(biāo)、使用場景，要求平臺數(shù)據(jù)產(chǎn)品經(jīng)理，要有很好的需求理解能力；然后基于數(shù)據(jù)需求，進(jìn)行指標(biāo)拆解、建立聯(lián)系，明確指標(biāo)計算邏輯，確保指標(biāo)口徑統(tǒng)一，并且基于指標(biāo)計算邏輯，按照數(shù)據(jù)字典，找到數(shù)據(jù)庫對應(yīng)的表格字段。當(dāng)指標(biāo)梳理好以后，就可以進(jìn)行分層建模。按照提前設(shè)計好的層級去設(shè)計分層結(jié)構(gòu)，整理出事實表、維度表進(jìn)行邏輯模型的建立。接下來就進(jìn)入比較重要的數(shù)據(jù)開發(fā)環(huán)節(jié)，基于設(shè)計好的分層指標(biāo)和計算邏輯去開發(fā)，再配置更新的邏輯，設(shè)計過程中要考慮數(shù)據(jù)的更新方式，如全量或增量更新、使用周期等。數(shù)據(jù)開發(fā)完成后，需要進(jìn)行數(shù)據(jù)校驗，確保數(shù)據(jù)是準(zhǔn)確、可用的，這樣才能夠支撐后面的數(shù)據(jù)分析、展示和應(yīng)用。最后API開發(fā)是針對開發(fā)的數(shù)據(jù)結(jié)果，用API的形式給發(fā)布出去。整個環(huán)節(jié)里面，需求調(diào)研、梳理指標(biāo)，分層建模是最關(guān)鍵的，因為這三步?jīng)Q定了整個數(shù)據(jù)開發(fā)的成敗。
下圖出了今日分享內(nèi)容中涉及到的文獻(xiàn)，感興趣的同學(xué)可以自行查看。
問答環(huán)節(jié)
Q1：平臺型數(shù)據(jù)產(chǎn)品經(jīng)理和傳統(tǒng)產(chǎn)品經(jīng)理的差異有哪些？A1：主要是專業(yè)的思維和能力。傳統(tǒng)產(chǎn)品經(jīng)理對數(shù)倉的構(gòu)建流程，以及對大數(shù)據(jù)體系的相關(guān)知識不需要掌握。但是平臺型數(shù)據(jù)產(chǎn)品經(jīng)理，就需要掌握上文介紹的專業(yè)思維和能力，這是一個很明顯的差異。Q2：數(shù)據(jù)產(chǎn)品的發(fā)展方向?A2：首先是往實時方向發(fā)展。然后是智能化方向，越來越多的做數(shù)據(jù)產(chǎn)品公司，都在提智能化，但智能化現(xiàn)在還不太成熟，如果能達(dá)到成熟的階段，會大幅降低企業(yè)投入成本。今天的分享就到這里，謝謝大家。
學(xué)習(xí)更多大數(shù)據(jù)、人工智能方向技術(shù)干貨，請關(guān)注公眾號：DataFunTalk
下載大數(shù)據(jù)、人工智能方向免費資料、行業(yè)報告，請關(guān)注公眾號：DataFunSummit
