個(gè)人感覺免費(fèi)的爬蟲軟件都是給別人當(dāng)肉雞，爬蟲最大的問題就是代理ip了，沒有代理幾下就會(huì)被網(wǎng)站反爬了，問題是高質(zhì)量的代理ip很貴的，一個(gè)vps撥號(hào)服務(wù)器只能并發(fā)一個(gè)ip，雖然可以換但是并發(fā)只有一個(gè)，一月100塊錢，比如他有10000個(gè)免費(fèi)用戶，那他一個(gè)月運(yùn)營(yíng)成本就代理池最起碼70多萬(wàn)，你免費(fèi)用運(yùn)營(yíng)方承受不了，如果把這一萬(wàn)用戶都變代理服務(wù)器，那就賺大發(fā)了，那運(yùn)營(yíng)方就有一萬(wàn)個(gè)免費(fèi)的代理ip池，那就是你用別的用戶ip別的用戶也用你的ip，大家都把ip共享了那么優(yōu)質(zhì)的代理池就建起來了，然后把付費(fèi)用戶用普通用戶的終端進(jìn)行代理，

排名前20的網(wǎng)絡(luò)爬蟲工具，Mark!

網(wǎng)絡(luò)爬蟲在許多領(lǐng)域都有廣泛的應(yīng)用，它的目標(biāo)是從網(wǎng)站獲取新的數(shù)據(jù)，并加以存儲(chǔ)以方便訪問。 網(wǎng)絡(luò)爬蟲工具越來越為人們所熟知，因?yàn)樗芎?jiǎn)化并自動(dòng)化整個(gè)爬蟲過程，使每個(gè)人都可以輕松訪問網(wǎng)絡(luò)數(shù)據(jù)資源。

1. Octoparse

Octoparse是一個(gè)免費(fèi)且功能強(qiáng)大的網(wǎng)站爬蟲工具，用于從網(wǎng)站上提取需要的各種類型的數(shù)據(jù)。它有兩種學(xué)習(xí)模式 - 向?qū)Ｊ胶透呒?jí)模式，所以非程序員也可以使用?？梢韵螺d幾乎所有的網(wǎng)站內(nèi)容，并保存為EXCEL，TXT，HTML或數(shù)據(jù)庫(kù)等結(jié)構(gòu)化格式。具有Scheduled Cloud Extraction功能，可以獲取網(wǎng)站的最新信息。提供IP代理服務(wù)器，所以不用擔(dān)心被侵略性網(wǎng)站檢測(cè)到。

總之，Octoparse應(yīng)該能夠滿足用戶最基本或高端的抓取需求，而無(wú)需任何編碼技能。

2. Cyotek WebCopy

WebCopy是一款免費(fèi)的網(wǎng)站爬蟲工具，允許將部分或完整網(wǎng)站內(nèi)容本地復(fù)制到硬盤以供離線閱讀。它會(huì)在將網(wǎng)站內(nèi)容下載到硬盤之前掃描指定的網(wǎng)站，并自動(dòng)重新映射網(wǎng)站中圖像和其他網(wǎng)頁(yè)資源的鏈接，以匹配其本地路徑。還有其他功能，例如下載包含在副本中的URL，但不能對(duì)其進(jìn)行爬蟲。還可以配置域名，用戶代理字符串，默認(rèn)文檔等。

但是，WebCopy不包含虛擬DOM或JavaScript解析。

3. HTTrack

作為網(wǎng)站爬蟲免費(fèi)軟件，HTTrack提供的功能非常適合從互聯(lián)網(wǎng)下載整個(gè)網(wǎng)站到你的PC。 它提供了適用于Windows，Linux，Sun Solaris和其他Unix系統(tǒng)的版本。 它可以鏡像一個(gè)或多個(gè)站點(diǎn)（共享鏈接）。在“設(shè)置選項(xiàng)”下下載網(wǎng)頁(yè)時(shí)決定要同時(shí)打開的連接數(shù)。 可以從整個(gè)目錄中獲取照片，文件，HTML代碼，更新當(dāng)前鏡像的網(wǎng)站并恢復(fù)中斷的下載。

另外，HTTTrack提供代理支持以最大限度地提高速度，并提供可選的身份驗(yàn)證。

4. Getleft

Getleft是一款免費(fèi)且易于使用的網(wǎng)站抓取工具。 啟動(dòng)Getleft后輸入U(xiǎn)RL并選擇應(yīng)下載的文件，然后開始下載網(wǎng)站此外，它提供多語(yǔ)言支持，目前Getleft支持14種語(yǔ)言。但是，它只提供有限的Ftp支持，它可以下載文件但不遞歸。

總體而言，Getleft應(yīng)該滿足用戶的基本爬蟲需求而不需要更復(fù)雜的技能。

5. Scraper

Scraper是一款Chrome擴(kuò)展工具，數(shù)據(jù)提取功能有限，但對(duì)于在線研究和導(dǎo)出數(shù)據(jù)到Google Spreadsheets非常有用。適用于初學(xué)者和專家，可以輕松地將數(shù)據(jù)復(fù)制到剪貼板或使用OAuth存儲(chǔ)到電子表格。不提供全包式抓取服務(wù)，但對(duì)于新手也算友好。

6. OutWit Hub

OutWit Hub是一款Firefox插件，具有數(shù)十種數(shù)據(jù)提取功能，可簡(jiǎn)化網(wǎng)頁(yè)搜索。瀏覽頁(yè)面后會(huì)以適合的格式存儲(chǔ)提取的信息。還能創(chuàng)建自動(dòng)代理來提取數(shù)據(jù)并根據(jù)設(shè)置對(duì)其進(jìn)行格式化。

它是最簡(jiǎn)單的網(wǎng)絡(luò)爬蟲工具之一，可以自由使用，提供方便的提取網(wǎng)頁(yè)數(shù)據(jù)而無(wú)需編寫代碼。

7. ParseHub

Parsehub是一款出色的爬蟲工具，支持使用AJAX技術(shù)，JavaScript，cookies等獲取網(wǎng)頁(yè)數(shù)據(jù)。它的機(jī)器學(xué)習(xí)技術(shù)可以讀取、分析網(wǎng)頁(yè)文檔然后轉(zhuǎn)換為相關(guān)數(shù)據(jù)。Parsehub的桌面應(yīng)用程序支持Windows，Mac OS X和Linux等系統(tǒng)，或者你可以使用瀏覽器內(nèi)置的Web應(yīng)用程序。

8.Visual Scraper

VisualScraper是另一個(gè)偉大的免費(fèi)和非編碼爬蟲工具，只需簡(jiǎn)單的點(diǎn)擊界面就可從網(wǎng)絡(luò)上收集數(shù)據(jù)。 可以從多個(gè)網(wǎng)頁(yè)獲取實(shí)時(shí)數(shù)據(jù)，并將提取的數(shù)據(jù)導(dǎo)出為CSV，XML，JSON或SQL文件。 除了SaaS之外，VisualScraper還提供網(wǎng)絡(luò)抓取服務(wù)，如數(shù)據(jù)傳輸服務(wù)和創(chuàng)建軟件提取服務(wù)。

Visual Scraper使用戶能夠在特定時(shí)間運(yùn)行他們的項(xiàng)目，還可以用它來獲取新聞。

9. Scrapinghub

Scrapinghub是一款基于云計(jì)算的數(shù)據(jù)提取工具，可幫助數(shù)千名開發(fā)人員獲取有價(jià)值的數(shù)據(jù)。 它的開源可視化抓取工具允許用戶在沒有任何編程知識(shí)的情況下抓取網(wǎng)站。

Scrapinghub使用Crawlera，這是一種智能代理旋轉(zhuǎn)器，支持繞過bot機(jī)制，輕松地抓取大量受bot保護(hù)的網(wǎng)站。 它使用戶能夠通過簡(jiǎn)單的HTTP API從多個(gè)IP和位置進(jìn)行爬網(wǎng)，而無(wú)需進(jìn)行代理管理。

10. Dexi.io

作為基于瀏覽器的爬蟲工具，http://Dexi.io允許用戶從任何網(wǎng)站抓取數(shù)據(jù)，并提供三種類型的機(jī)器人來創(chuàng)建抓取任務(wù) - 提取器，爬行器和管道。 該免費(fèi)軟件提供匿名Web代理服務(wù)器，所提取的數(shù)據(jù)會(huì)在存檔之前的兩周內(nèi)儲(chǔ)存在http://Dexi.io的服務(wù)器上，或者直接將提取的數(shù)據(jù)導(dǎo)出為JSON或CSV文件。它提供付費(fèi)服務(wù)以滿足實(shí)時(shí)獲取數(shù)據(jù)的需求。

11. Webhose.io

http://Webhose.io使用戶能夠?qū)碜允澜绺鞯氐木€上來源的實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換為各種干凈的格式。你可以使用覆蓋各種來源的多個(gè)過濾器來抓取數(shù)據(jù)，并進(jìn)一步提取不同語(yǔ)言的關(guān)鍵字。

抓取的數(shù)據(jù)可以保存為XML，JSON和RSS格式，還能從其存檔訪問歷史數(shù)據(jù)。 此外，http://webhose.io支持最多80種語(yǔ)言及其爬行數(shù)據(jù)結(jié)果。用戶可以輕松索引和搜索http://Webhose.io抓取的結(jié)構(gòu)化數(shù)據(jù)。

12.Import. io

用戶只需從特定網(wǎng)頁(yè)導(dǎo)入數(shù)據(jù)并將數(shù)據(jù)導(dǎo)出到CSV即可形成自己的數(shù)據(jù)集。

你可以在幾分鐘內(nèi)輕松抓取數(shù)千個(gè)網(wǎng)頁(yè)，而無(wú)需編寫任何代碼，并根據(jù)您的要求構(gòu)建1000多個(gè)API。 公共API提供了強(qiáng)大而靈活的功能來以編程方式控制http://Import.io并獲得對(duì)數(shù)據(jù)的自動(dòng)訪問，http://Import.io通過將Web數(shù)據(jù)集成到你自己的應(yīng)用程序或網(wǎng)站中，只需點(diǎn)擊幾下就可以輕松實(shí)現(xiàn)爬蟲。

為了更好地滿足用戶的抓取需求，它還為Windows，Mac OS X和Linux提供免費(fèi)的應(yīng)用程序，以構(gòu)建數(shù)據(jù)提取器和抓取工具，下載數(shù)據(jù)并與在線帳戶同步。另外，用戶可以每周/每天/每小時(shí)安排爬蟲任務(wù)。

13.80legs

80legs是一款功能強(qiáng)大的網(wǎng)頁(yè)抓取工具，可以根據(jù)客戶要求進(jìn)行配置。80legs提供高性能的Web爬蟲，可以快速工作并在幾秒鐘內(nèi)獲取所需的數(shù)據(jù)。

14. Spinn3r

Spinn3r允許你從博客、新聞和社交媒體網(wǎng)站以及RSS和ATOM中獲取所有數(shù)據(jù)。Spinn3r發(fā)布了防火墻API，管理95％的索引工作。它提供了先進(jìn)的垃圾郵件防護(hù)功能，可消除垃圾郵件和不適當(dāng)?shù)恼Z(yǔ)言，從而提高數(shù)據(jù)安全性。

Spinn3r索引類似于Google的內(nèi)容，并將提取的數(shù)據(jù)保存在JSON文件中。

15. Content Grabber

Content Graber是一款針對(duì)企業(yè)的爬蟲軟件。它可以讓你創(chuàng)建一個(gè)獨(dú)立的網(wǎng)頁(yè)爬蟲代理。

它更適合具有高級(jí)編程技能的人，因?yàn)樗鼮橛行枰娜颂峁┝嗽S多強(qiáng)大的腳本編輯和調(diào)試界面。允許用戶使用C＃或http://VB.NET調(diào)試或編寫腳本來編程控制爬網(wǎng)過程。 例如，Content Grabber可以與Visual Studio 2013集成，以便根據(jù)用戶的特定需求提供功能最強(qiáng)大的腳本編輯、調(diào)試和單元測(cè)試。

16. Helium Scraper

Helium Scraper是一款可視化網(wǎng)絡(luò)數(shù)據(jù)爬行軟件，當(dāng)元素之間的關(guān)聯(lián)很小時(shí)效果會(huì)更好。它非編碼、非配置。用戶可以根據(jù)各種爬行需求訪問在線模板。

它基本上可以滿足用戶在初級(jí)階段的爬行需求。

17. UiPath

UiPath是一個(gè)免費(fèi)自動(dòng)化爬蟲軟件。它可以自動(dòng)將Web和桌面數(shù)據(jù)從第三方應(yīng)用程序中抓取出來。Uipath能夠跨多個(gè)網(wǎng)頁(yè)提取表格數(shù)據(jù)。

Uipath提供了用于進(jìn)一步爬取的內(nèi)置工具。 處理復(fù)雜的UI時(shí)，此方法非常有效。Screen Scraping Tool 可以處理單獨(dú)的文本元素、文本組和文本塊。

18. Scrape. it

Scrape.it是一個(gè)基于云的Web數(shù)據(jù)提取工具。它專為具有高級(jí)編程技能的人設(shè)計(jì)，因?yàn)樗峁┝斯埠退接邪?，以便與全球數(shù)百萬(wàn)開發(fā)人員一起發(fā)現(xiàn)、使用、更新和共享代碼。其強(qiáng)大的集成可以幫助用戶根據(jù)自己的需求構(gòu)建自定義爬蟲。

19. WebHarvy

WebHarvy是為非程序員設(shè)計(jì)的。它可以自動(dòng)從網(wǎng)站上爬取文本、圖像、URL和電子郵件，并以各種格式保存爬取的內(nèi)容。它還提供了內(nèi)置的調(diào)度程序和代理支持，可以匿名爬取并防止被Web服務(wù)器阻止，可以選擇通過代理服務(wù)器或VPN訪問目標(biāo)網(wǎng)站。

WebHarvy Web Scraper的當(dāng)前版本允許用戶將抓取的數(shù)據(jù)導(dǎo)出為XML，CSV，JSON或TSV文件，也可以導(dǎo)出到SQL數(shù)據(jù)庫(kù)。

20. Connotate

Connotate是一款自動(dòng)化Web爬蟲軟件，專為企業(yè)級(jí)Web爬蟲設(shè)計(jì)，需要企業(yè)級(jí)解決方案。業(yè)務(wù)用戶可以在幾分鐘內(nèi)輕松創(chuàng)建提取代理而無(wú)需任何編程。

它能夠自動(dòng)提取超過95％的網(wǎng)站，包括基于JavaScript的動(dòng)態(tài)網(wǎng)站技術(shù)，如Ajax。

另外，Connotate還提供整合網(wǎng)頁(yè)和數(shù)據(jù)庫(kù)內(nèi)容的功能，包括來自SQL數(shù)據(jù)庫(kù)和MongoDB數(shù)據(jù)庫(kù)提取的內(nèi)容。