用python爬蟲做畢業設計？

誠邀！很榮幸能夠回答你的問題，我認為除了思考目標網站，還有幾點也同樣重要，下面來說說我的看法。

爬蟲玩的好,監獄進的早。

最近很流行這句話，結合當前的環境來看，很多大數據公司的爬蟲業務都暫停，說明這是一個問題所在，所以對于你使用Python爬蟲來做畢業設計，選擇題材、目標網站、數據隱私方面都要做更多的考量。

盡管思考過程會比較頭疼，但是會幫助你，理清思路，為之后做出優秀的畢業設計是非常有必要的。

你的畢業設計的目的？

首先你要明確自己的目的，如果只是完成爬取一個網站的過程，是完全不能做為畢業設計的，所以需要你能想的更多一點，比如通過爬取公共數據，用來作數據分析，而得到符合你觀點的報告，爬取過程只是其中的一部份，這樣才能是一套完整的畢業設計。

創造一份屬于你的獨一無二的畢業設計，才應該是你對劃上一個句號，最完美的詮釋。

哪些網站能爬？

確定了畢業設計目的后，你就需要找尋對應的目標網站，也就是數據來源。這里建議你多找一些目標網站，例如你想做電商市場的有關題材，你就需要對淘寶、京東、拼多多等目標網站做分析，看是否能滿足你的題材。

其實很多網站并不是什么都不讓爬取，這時就需要你去分析每家網站的

robots.txt

，里面會說明你被允許爬取的范圍，是否還需要增加新的目標網站，做為更多數據的補充。

數據的隱私性

這里指的是你獲取到的數據是否會涉及到他人的隱私性，如果該數據涉及到隱私，記得將其刪掉。做爬蟲的第一要素就是不要動他人的隱私，這也是對自己的一種保護，以及職業素養的鍛煉。

大多數情況下，我們并不需要用隱私數據，同樣也能做出符合預期的分析，比如我們做年齡、地區分析的時候，人名、聯系方式、詳細地址，這些隱私信息，是完全可以不使用的。

對目標網站好一點

很多人使用爬蟲都是很暴力的，不管有用沒用的，狠不能一秒鐘就把所有數據都爬下來，這是非常不道德的，同時也會對目標網站造成了特別不好的影響，所以提前做好數據規劃、設置合理的爬取速度，都是非常必要的。

最后也希望你能做出優秀的畢業設計，獲得導師們的認可。

以上就是我個人的一點經驗，我希望我分享的這個問題的解答能夠幫助到大家。在這里同時也希望大家喜歡我的分享，大家如果有更好的關于這個問題的解答，還望分享評論，加關注一起討論。謝謝。