#一、數(shù)據(jù)挖掘的定義

什么是數(shù)據(jù)挖掘？

• 數(shù)據(jù)挖掘是一個(gè)用數(shù)據(jù)發(fā)現(xiàn)問(wèn)題、解決問(wèn)題的學(xué)科。
• 通常通過(guò)對(duì)數(shù)據(jù)的探索、處理、分析或建模實(shí)現(xiàn)。

數(shù)據(jù)挖掘?qū)W習(xí)路線

• 大學(xué)里并沒(méi)有數(shù)據(jù)挖掘這么一個(gè)專(zhuān)業(yè)，現(xiàn)有的數(shù)據(jù)挖掘工程師大都來(lái)自工科或統(tǒng)計(jì)學(xué)等專(zhuān)業(yè)。
• 目前的數(shù)據(jù)挖掘工程師大都來(lái)自不同背景，計(jì)算機(jī)科學(xué)、數(shù)學(xué)甚至是機(jī)械工程。要想成功勝任，其訣竅是熱情、好奇心，不斷學(xué)習(xí)新的工具的能力，以及對(duì)數(shù)據(jù)清洗和分析的耐心。

給新人的建議

• 最重要的三個(gè)品質(zhì)：好奇心、是非觀以及批判性思考。這三個(gè)品質(zhì)，放在其他領(lǐng)域同樣適用。
• 專(zhuān)業(yè)領(lǐng)域的三種能力：編程能力、統(tǒng)計(jì)基礎(chǔ)、商業(yè)思維。編程和統(tǒng)計(jì)在大學(xué)較為容易學(xué)到，商業(yè)思維需要多實(shí)踐總結(jié)。

#二、數(shù)據(jù)挖掘在做什么

數(shù)據(jù)挖掘工程師的一天

• 檢查日常報(bào)表數(shù)據(jù)是否異常，尋求數(shù)據(jù)波動(dòng)的合理解釋。
• 針對(duì)新業(yè)務(wù)，設(shè)計(jì)指標(biāo)，搭建數(shù)據(jù)模型。
• 搭建商品推薦系統(tǒng)、價(jià)格預(yù)測(cè)系統(tǒng)、文本分類(lèi)系統(tǒng)或是聊天機(jī)器人。

數(shù)據(jù)挖掘的算法

• 使用復(fù)雜的機(jī)器學(xué)習(xí)算法并不能保證效果。一般來(lái)講，最好的解決辦法，通常很簡(jiǎn)單。
• 生產(chǎn)環(huán)境使用簡(jiǎn)單的算法，并不意味著要放棄前沿算法。每一套新的方法，其目的都在解決前面的薄弱之處。

數(shù)據(jù)挖掘與服務(wù)器

• 本地PC由于硬件與系統(tǒng)限制，工程師常在服務(wù)器進(jìn)行大規(guī)模數(shù)據(jù)的運(yùn)算、腳本部署與接口部署。

#三、商業(yè)中的數(shù)據(jù)挖掘

作為公司，該如何開(kāi)展數(shù)據(jù)挖掘

• 評(píng)估可能的收益與需要的投入
• 開(kāi)始收集數(shù)據(jù)
• 招募數(shù)據(jù)挖掘團(tuán)隊(duì)

招聘數(shù)據(jù)挖掘團(tuán)隊(duì)

• 好奇心應(yīng)該是數(shù)據(jù)挖掘從業(yè)者的最重要品質(zhì)。
• 招聘時(shí)，應(yīng)確保候選人對(duì)工作內(nèi)容感興趣。
• 候選人應(yīng)具備一定的成果意識(shí)。商業(yè)更重成果，而不是過(guò)程。

數(shù)據(jù)挖掘應(yīng)用

• 廣告位點(diǎn)擊預(yù)估
• 信用卡風(fēng)控評(píng)估
• 用戶流失干預(yù)

#四、數(shù)據(jù)挖掘工具

數(shù)據(jù)挖掘工具與大數(shù)據(jù)

• 掌握以下工具：Python、Linux、Pandas及Jupyter、關(guān)系型和非關(guān)系型數(shù)據(jù)庫(kù)。
• 大數(shù)據(jù)通常指?jìng)鹘y(tǒng)數(shù)據(jù)系統(tǒng)無(wú)法處理的數(shù)據(jù)。體量和增速都相當(dāng)大。處理工具以Hadoop為代表。

#五、數(shù)據(jù)挖掘進(jìn)階

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)

• 神經(jīng)網(wǎng)絡(luò)出現(xiàn)已數(shù)十年，但由于條件限制，這一方向擱置了數(shù)十年。目前隨著新的優(yōu)化方法的出現(xiàn)和算力的提升，這一方向的工業(yè)化逐漸成為可能。

如何更上一層樓

• 掌握基本的編程知識(shí)，更多地去理解背后的原理。
• 流程化意識(shí)，及時(shí)復(fù)盤(pán)總結(jié)，規(guī)范流程（復(fù)用）。
• 成果導(dǎo)向，將知識(shí)轉(zhuǎn)化為行動(dòng)和成果，給他人帶來(lái)價(jià)值，服務(wù)更多人。