采集電商平臺(tái)公開(kāi)數(shù)據(jù)是否違法，主要從以下幾個(gè)方面進(jìn)行判斷和界定：

1.采集目的及用途；

我們?cè)讷@取這些“公開(kāi)數(shù)據(jù)”之前都會(huì)有一定的想法和目的。

1）正向目的：（不違法）

—市場(chǎng)調(diào)研；

通過(guò)采集數(shù)據(jù)了解目前行業(yè)發(fā)展動(dòng)態(tài)，分析研究洞悉市場(chǎng)需求，競(jìng)品級(jí)服務(wù)分析等，用于調(diào)整自我產(chǎn)品服務(wù)的運(yùn)營(yíng)策略參考，進(jìn)而提高自我市場(chǎng)競(jìng)爭(zhēng)力；這是目前電商行業(yè)最常用的競(jìng)爭(zhēng)手段；

—案列了解學(xué)習(xí)，提升自我職業(yè)技能或豐富自我知識(shí)面；

通過(guò)獲取數(shù)據(jù)，進(jìn)行模擬數(shù)據(jù)分析實(shí)操，從中研習(xí)市場(chǎng)需求分析與產(chǎn)品服務(wù)化之間的業(yè)務(wù)流程及邏輯關(guān)聯(lián)，進(jìn)而提升職業(yè)技能的專(zhuān)業(yè)性；這類(lèi)目的主要體現(xiàn)在職場(chǎng)新人或職業(yè)方向調(diào)整的技術(shù)人員，在進(jìn)入新行業(yè)新職位的前期，做相關(guān)職業(yè)知識(shí)及技能方面的準(zhǔn)備；

—第三方數(shù)據(jù)采集機(jī)構(gòu)；

跟第一類(lèi)的采集目的類(lèi)似，但是數(shù)據(jù)量及類(lèi)型更為寬泛及深入；一般會(huì)與電商平臺(tái)進(jìn)行合作，使用嵌入式SDK數(shù)據(jù)接口來(lái)跟蹤、采集數(shù)據(jù)，用于行業(yè)發(fā)展、競(jìng)爭(zhēng)等分析；（合作方式有免費(fèi)的也有收費(fèi)的，或者資源互換）

—網(wǎng)警系統(tǒng)；

這個(gè)不用說(shuō)了吧，都懂。主要用于監(jiān)控違法范圍活動(dòng)；公開(kāi)的不公開(kāi)的必要時(shí)都能獲取；

2）反向目的：（違法）

—通過(guò)獲取數(shù)據(jù)，達(dá)到售賣(mài)數(shù)據(jù)，獲得非法利益的；

—通過(guò)獲取孤立片面的數(shù)據(jù)通過(guò)加工拼接，發(fā)布傳播，其內(nèi)容的虛假，形成造謠詆毀性質(zhì)，造成數(shù)據(jù)所屬方企業(yè)形象，品牌美譽(yù)度受損等，經(jīng)營(yíng)損失等惡劣影響的，無(wú)論是有意還是無(wú)意，都是違法行為；

2.數(shù)據(jù)“公開(kāi)”程度；

我們?cè)诓杉瘮?shù)據(jù)過(guò)程中，基本會(huì)遇到不同公開(kāi)程度的數(shù)據(jù)：完全公開(kāi)；半公開(kāi)；完全不公開(kāi)等；

1）完全公開(kāi)型：

即為數(shù)據(jù)所屬方完全開(kāi)放的數(shù)據(jù)，比如企業(yè)工商信息，店鋪信息，產(chǎn)品及服務(wù)信息等；交易數(shù)據(jù)等；以及完全公開(kāi)披露的企業(yè)其他商業(yè)信息；

其中會(huì)涉及軟件著作權(quán)，和知識(shí)產(chǎn)權(quán)；使用轉(zhuǎn)載都需注明出處或取得所屬方許可后方可使用；否則屬于違法行為；

2）半公開(kāi)型：

即為數(shù)據(jù)所屬方針對(duì)性開(kāi)放的數(shù)據(jù)，比如僅對(duì)賣(mài)家開(kāi)放的數(shù)據(jù)，僅對(duì)第三方合作方開(kāi)放的數(shù)據(jù)，僅對(duì)工商系統(tǒng)開(kāi)放的數(shù)據(jù)等等；使用非正當(dāng)途徑獲取的，后續(xù)又未取得數(shù)據(jù)所屬方的開(kāi)放權(quán)限，屬于違法行為；

3）完全不公開(kāi)型；

這類(lèi)數(shù)據(jù)為數(shù)據(jù)所屬方獨(dú)有的商業(yè)產(chǎn)品，服務(wù)等競(jìng)爭(zhēng)方面的數(shù)據(jù)，基本僅限于自我研究分析及用于投融資，上市等資本市場(chǎng)的IPO資料提交，屬于絕密性數(shù)據(jù)。這類(lèi)數(shù)據(jù)的獲取難度較高，通過(guò)不正當(dāng)手段獲取的，那么網(wǎng)警就會(huì)請(qǐng)你去喝咖啡了。

3.采集手段及工具；

1）手工采集；

這一類(lèi)采集的數(shù)據(jù)量及數(shù)據(jù)公開(kāi)程度都有限，基本對(duì)數(shù)據(jù)所屬方不造成什么影響。

2）工具采集；

—目前市面上有很多數(shù)據(jù)采集工具，如火車(chē)頭、八爪魚(yú)、集搜客、云爬蟲(chóng)、狂人、Import.io、Octoparse、ContentGrabber、VisualWebRipper等等，對(duì)數(shù)據(jù)抓取采集的類(lèi)型各有不同，各有優(yōu)勢(shì)；只要在采集過(guò)程匯總，不對(duì)數(shù)據(jù)所屬方數(shù)據(jù)接口性能的穩(wěn)定性造成影響，基本沒(méi)有什么問(wèn)題；

—數(shù)據(jù)所屬方平臺(tái)也會(huì)針對(duì)采集數(shù)據(jù)的類(lèi)型及速度，頻次，數(shù)據(jù)量級(jí)等，用于監(jiān)控及預(yù)防惡意采集行為；

—同時(shí)制定規(guī)范的規(guī)則措施進(jìn)行約束管控采集行為，屏蔽打擊以數(shù)據(jù)采集為由，實(shí)施平臺(tái)數(shù)據(jù)庫(kù)病毒性攻擊，達(dá)到平臺(tái)系統(tǒng)崩潰癱瘓，無(wú)法正常運(yùn)行的惡劣目的。主要側(cè)重配合網(wǎng)警系統(tǒng)進(jìn)行監(jiān)督、管控行業(yè)不正當(dāng)競(jìng)爭(zhēng)等的違法行為。

綜上，我們?cè)诓杉瘮?shù)據(jù)時(shí)，弄清楚采集目的、數(shù)據(jù)公開(kāi)類(lèi)型、以及使用的采集手段及工具等，才能有理，有法，有效的采集獲取想要的數(shù)據(jù)。

以上內(nèi)容，簡(jiǎn)述了數(shù)據(jù)收集的方式及注意事項(xiàng)，希望能幫到朋友們快速理解和學(xué)習(xí)。對(duì)大數(shù)據(jù)有興趣的朋友，可在評(píng)論區(qū)一起交流探討。謝謝。

【墨蔸集】作者：連續(xù)創(chuàng)業(yè)者，專(zhuān)注商業(yè)數(shù)據(jù)分析及團(tuán)隊(duì)管理。定期輸出大數(shù)據(jù)商業(yè)運(yùn)營(yíng)管理實(shí)戰(zhàn)經(jīng)驗(yàn)。。