2天，特定網站一小時。

很多人沒接觸過以為編程是統計學是微積分是別的數學邏輯關系。但如果只是讀一個網頁的話，一小時足夠了。

面向對象的編程換成日常用語的話可以直白的說是方便復制粘帖的語言。大多數時候你不需要搞明白你復制的東西具體怎么實現，你只要知道他是干嘛的。

比如你說的爬蟲，基礎的話你可以完全不理會網絡訪問的原理。你只要知道有個有re包，有requeset包，有urllib包，有selenium。。。。

然后選一個你覺得不錯的包，看下這個包的基本用法。比如selenium里有個webdriver，webdriver.chrome（）是使用chrome瀏覽器，get（"http：//abc.com"）是打開abc.com。。。。是的，你只用知道你輸入啥對應他會干啥就好。正如上面的例子，你知道輸入地址它幫你打開這個網址對應的網頁。至于哪個方法保存哪個方法找哪些元素同樣如此。用對應的工具包輸入你想干嘛。

至此一個特定網頁的爬蟲就好了，耗時可能不到一小時（看查資料的速度）。當然如果你要求高，想多線程，想對抗反爬蟲，想各種精確定位那需要一些知識。而那些知識大多和語言關系不大。

Python下的爬蟲庫，一般分為3類。

抓取類

urllib(Python3)，這是Python自帶的庫，可以模擬瀏覽器的請求，獲得Response用來解析，其中提供了豐富的請求手段，支持Cookies、Headers等各類參數，眾多爬蟲庫基本上都是基于它構建的。建議學習了解一下，因為有些罕見的問題需要通過底層的方式解決。

requests，基于urllib，但是更方便易用。強烈推薦掌握。

解析類

re：正則表達式官方庫，不僅僅是學習爬蟲要使用，在其他字符串處理或者自然語言處理的過程中，這是繞不過去的一個庫，強烈推薦掌握。

BeautifulSoup：方便易用，好上手，推薦掌握。通過選擇器的方式選取頁面元素，并獲取對應的內容。

lxml：使用

lxml.etree

將字符串轉換之后，我們可以使用XPath表達式來解析網頁，終極推薦。XPath對于網頁解析的支持非常強大，而且很容易上手。它本來是設計出來進行XML元素選擇的，但是它同樣支持HTML。

pyquery：另一個強大的解析庫，感興趣的可以學習下。

綜合類

selenium：所見即所得式爬蟲，綜合了抓取和解析兩種功能，一站式解決。很多動態網頁不太容易通過requests、scrapy直接抓取，比如有些url后邊帶了加密的隨機數，這些算法不太好破解，這種情況下，只能通過直接訪問網址、模擬登陸等方式請求到頁面源碼，直接從網頁元素中解析內容，這種情況下，Selenium就是最好的選擇。不過Selenium最初設計出來，是用于測試的。強烈推薦。

scrapy：另一個爬蟲神器，適合爬取大量頁面，甚至對分布式爬蟲提供了良好的支持。強烈推薦。

以上這些是我個人經常使用的庫，但是還有很多其他的工具值得學習。比如Splash也支持動態網頁的抓取；Appium可以幫助我們抓取App的內容；Charles可以幫助我們抓包，不管是移動端還是PC網頁端，都有良好的支持；pyspider也是一個綜合性的框架；MySQL(pymysql)、MongoDB(pymongo)，抓到了數據就要存儲，數據庫也是繞不過去的。

掌握了以上這些，基本上大部分的爬蟲任務都難不倒你啦！

你也可以關注我的頭條號，或者我的個人博客，里邊會有一些爬蟲類的分享。數洞: www.data-insights.cn/www.data-insight.cn.

python網絡爬蟲總的來說有五個大的方面：

前端知識——基礎爬蟲——框架爬蟲——分布式爬蟲——突破反爬蟲

1.前端知識：

“網絡爬蟲”很明顯對象是網絡，也就是網頁。說到網頁，這里就涉及到了前端的知識了，不過大家也不要慌，只要懂點必要的HTML5框架、網頁的http請求、還有JavaScript、css3的知識就可以了，以這樣的水平也是可以學會爬蟲的啦。當然，如果要非常精通python網絡爬蟲的話，深入學習前端知識是必要的。

2.基礎爬蟲：（1）基礎庫：urllib模塊/requests第三方模塊

首先爬蟲就是要從網頁上把我們需要的信息抓取下來的，那么我們就要學習urllib/requests模塊，這兩種模塊是負責爬取網頁的。這里大家覺得哪一種用的習慣就用哪一種，選擇一種精通就好了。小編推薦讀者使用使用requests模塊，因為這一種簡便很多，容易操作、容易理解，所以requests被稱為“人性化模塊”。

（2）多進程、多線程和協程：

為什么要學著三個知識呢？假如你要爬取200萬條的數據，使用一般的單進程或者單線程的話，你爬取下載這些數據，也許要一個星期或是更久。試問這是你想要看到的結果嗎？顯然單進程和單線程不要滿足我們追求的高效率，太浪費時間了。只要設置好多進程和多線程，爬取數據的速度可以提高10倍甚至更高的效率。

（3）網頁解析提取庫：xpath/BeautifulSoup4/正則表達式

通過前面的（1）和（2）爬取下來的是網頁源代碼，這里有很多并不是我們想要的信息，所以需要將沒用的信息過濾掉，留下對我們有價值的信息。這里有三種解析器，三種在不同的場景各有特色也各有不足，總的來說，學會這三種靈活運用會很方便的。推薦理解能力不是很強的朋友或是剛入門爬蟲的朋友，學習BeautifulSoup4是很容易掌握并能夠快速應用實戰的，功能也非常強大。

（4）反屏蔽：請求頭/代理服務器/cookie

在爬取網頁的時候有時會失敗，因為別人網站設置了反爬蟲措施了，這個時候就需要我們去偽裝自己的行為，讓對方網站察覺不到我們就是爬蟲方。請求頭設置，主要是模擬成瀏覽器的行為；IP被屏蔽了，就需要使用代理服務器來破解；而cookie是模擬成登錄的行為進入網站。

（5）異常：超時處理/異常處理，這里不做介紹了，自己去了解一下。（6）數據儲存庫：文件系統儲存/MySQL/MongoDB

數據的儲存大概就這三種方式了，文件系統儲存是運用了python文件操作來執行的；而MySQL要使用到數據庫創建表格來儲存數據；MongoDB在爬蟲里是非常好的儲存方式，分布式爬蟲就是運用了MongoDB來儲存的。各有特色，看自己需要哪種，在靈活運用。

（7）動態網頁抓取：Ajax/PhantomJS/Selenium這三個知識點（8）抓包：APP抓包/API爬蟲3.框架爬蟲：主流且熱門的scrapy框架/人性化的pyspider框架

框架不止這兩種，但是很多時候就只用到了這些框架，所以把這兩種掌握熟悉了就可以了。

4.分布式爬蟲：python操作Redis/scrapy操作Redis5.突破反爬蟲：useragent池/禁用cookies/設置下載延時和自動限速/代理IP池/tor代理/分布式下載器

以上就是python網絡爬蟲的從入門到精通的知識框架，希望這篇文章能讓讀者高效的學好python網絡爬蟲。

詳細的可以看一下我的這篇文章，

鏈接是：https://www.toutiao.com/i6611872532448412164/

也可以關注我，就可以學習其他關于爬蟲的知識，

首先需要分析評論的地址，然后分析需要什么參數，拼好完整地址進行拉取