用什么樣的爬蟲工具可以抓取工廠電話？

人生苦短，我用Python！

論簡便、易用性，個人強(qiáng)烈建議使用Python，其豐富強(qiáng)大的網(wǎng)絡(luò)工具庫、網(wǎng)頁解析庫，再加上Python簡潔利落的語言特性，使得爬蟲真的可以輕松無痛~

一、網(wǎng)絡(luò)請求：獲取網(wǎng)頁內(nèi)容

1、urllib3:爬蟲的起點(diǎn)

urllib3是用于Python的一個功能強(qiáng)大、健全友好的HTTP客戶端。大部分Python生態(tài)系統(tǒng)已經(jīng)使用urllib3，urllib3帶來了許多Python標(biāo)準(zhǔn)庫中缺少的關(guān)鍵特性：

線程安全連接池客戶端SSL/TLS驗(yàn)證使用多種編碼上載文件用于重試請求和處理HTTP重定向的幫助程序支持gzip和deflate編碼對HTTP和SOCKS的代理支持

urllib3是最基本的庫，可以定制用戶需要的一切網(wǎng)絡(luò)需求，滿足不同環(huán)境下的爬蟲需求。

2、requests庫

requests繼承了urllib的所有特性，requests支持HTTP連接保持和連接池，支持使用cookie保持會話，支持文件上傳，支持自動確定響應(yīng)內(nèi)容的編碼，支持國際化的 URL 和 POST 數(shù)據(jù)自動編碼，而其底層實(shí)現(xiàn)其實(shí)就是 urllib。

Requests is an elegant and simple HTTP library for Python, built for human beings.

3、Scrapy

Scrapy是一個快速的高級web抓取和web抓取框架，用于抓取網(wǎng)站和從網(wǎng)頁中提取結(jié)構(gòu)化數(shù)據(jù)。它可以用于廣泛的用途，從數(shù)據(jù)挖掘到監(jiān)控和自動化測試。

二、內(nèi)容獲取：網(wǎng)頁解析

1、BeautifulSoup

Beautiful Soup是用Python寫的一個HTML/XML的解析器，它可以很好的處理不規(guī)范標(biāo)記并生成剖析樹(parse tree)。它提供簡單又常用的導(dǎo)航，搜索以及修改剖析樹的操作，它可以大大節(jié)省你的編程時間。

2、XPath

XPath即為XML路徑語言，它是一種用來確定XML文檔中某部分位置的語言。XPath基于XML的樹狀結(jié)構(gòu)，提供在數(shù)據(jù)結(jié)構(gòu)樹中找尋節(jié)點(diǎn)的能力。起初XPath的提出的初衷是將其作為一個通用的、介于XPointer與XSL間的語法模型。但是XPath很快的被開發(fā)者采用來當(dāng)作小型查詢語言。

三、爬蟲工具抓取工廠電話

首先確定需要爬取的網(wǎng)站；其次需要選擇一個合適的HTTP請求庫（但不限于第一部分中提到的三種庫）向目標(biāo)網(wǎng)站發(fā)起請求獲取網(wǎng)頁；最后當(dāng)獲取網(wǎng)頁內(nèi)容后，選擇第二部分中提到的解析技術(shù)提取文檔中的需要的號碼。但是，爬蟲最難的部分在于網(wǎng)站的各種反爬機(jī)制，這個需要額外的尋求解決辦法~祝好！