python網絡爬蟲具體是怎樣的？

Python網絡爬蟲實際上就是一個用python開發的程序，爬蟲就好比蜘蛛一樣順著蜘蛛網到達網的每個地方。在互聯網上也是同樣的道理，好比一個網站，網站里邊分布了很多頁面鏈接，通過鼠標點擊可以訪問到下一層的內容，而網絡爬蟲就模擬人們訪問網頁那樣，一個一個的打開連接進行訪問并按照開發設定的規則抓取信息的這么一個過程。

由于Python的語法簡單、學習成本比較低，有眾多的開源類庫與框架可以使用，使得開發難度與時間大大縮減，得到了大多數人的青睞，特別是在數據處理方面。

在這里推薦幾個值得關注的異步爬蟲庫，給你做下參考。

1.Scrapy

Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。

其最初是為了 頁面抓取 (更確切來說, 網絡抓取 )所設計的， 也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。

2.PySpider

PySpider：一個國人編寫的強大的網絡爬蟲系統并帶有強大的WebUI。采用Python語言編寫，分布式架構，支持多種數據庫后端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。

3.Crawley

Crawley可以高速爬取對應網站的內容，支持關系和非關系數據庫，數據可以導出為JSON、XML等。

4.Portia

Portia是一個開源可視化爬蟲工具，可讓您在不需要任何編程知識的情況下爬取網站！簡單地注釋您感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。

5.Newspaper

Newspaper可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用python開發的可用于提取文章內容的程序。支持10多種語言并且所有的都是unicode編碼。

6.Beautiful Soup

Beautiful Soup 是一個可以從HTML或XML文件中提取數據的Python庫.它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。這個我是使用的特別頻繁的。在獲取html元素，都是bs4完成的。

7.selenium

Selenium 是自動化測試工具。它支持各種瀏覽器，包括 Chrome，Safari，Firefox 等主流界面式瀏覽器，如果在這些瀏覽器里面安裝一個 Selenium 的插件，可以方便地實現Web界面的測試. Selenium 支持瀏覽器驅動。Selenium支持多種語言開發，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅動以及與 Python 的對接，Python 進行后期的處理。

下面是網絡爬蟲工作的大致流程圖