Python的運用很廣泛的，單純用來爬蟲有點浪費，做一個爬蟲工程師待遇也不是很好！可以轉到其他領域！

數據分析

Python做數據分析已經很主流了，Numpy，pandas等等已經大量運用于數據分析，方便高效！但是如果想從事還是需要更新一些知識如Excel數據量不大的情況（一百萬以內）下任然用Excel，數據庫有MySQL，oracle等，BI工具tableau，帆軟等！有這些只是就可以做數據分析了

數據分析中各工具的使用情況如圖

人工智能領域

人工智能無疑是近年來最火熱的，市場上已經陸續出現各種人工智能產品。各種技術也讓人驚喜不斷！所以轉到人工智能領域也是很有潛力的。Python是人工智能的主流語言，機器學習，深度學習也使用Python，對你來說也是優勢，人工智能就業容易，待遇高！不過人工智能對于數學要求也較高，不過也別擔心！又不是研究數學，只是有點基礎容易理解原理！

下圖是人工智能每個領域需要的學科基礎

本人從事IT行業，同時也在深入研究人工智能領域，如果有什么疑問可以評論區留言！歡迎關注，交流討論

自動的。

爬蟲：一段自動抓取互聯網信息的程序，從互聯網上抓取對于我們有價值的信息。

Python 爬蟲架構主要由五個部分組成，分別是調度器、URL管理器、網頁下載器、網頁解析器、應用程序（爬取的有價值數據）。

調度器：相當于一臺電腦的CPU，主要負責調度URL管理器、下載器、解析器之間的協調工作。

初期不需要登錄的中國站比較簡單，掌握httpgetpost和urllib怎么模擬，掌握lxml、BeautifulSoup等parser庫就可以了，多用firefox的firebug或者chrome的調試工具看瀏覽器是怎么發包的。上面都是不需要登錄不需要下文件就可以做到的

昨天剛剛概念性的回答了爬蟲怎樣斷點續傳的問題，今天看到你這個提問就突然產生把昨天構思的爬蟲構架實現的沖動。希望下面我這些用心寫出的內容能夠解答你的問題。

都說Python是做爬蟲絕好的工具，這是因為用Python寫代碼從互聯網抓數據實在太簡單了。今天我用個簡單的小例子帶大家看一看，怎樣用Python去網站上爬取信息。爬蟲英語叫做Spider，因為蜘蛛會在網上爬來爬去，每個角落都有它的足跡，互聯網上的Spider行為也是一樣的，它會探索網站的每個角落，去抓取感興趣的信息。作為一篇新手向的指導，我沒有向大家介紹Scrapy這些框架，一上來就講框架往往會讓人忽視問題的本質，今天寫的這個小程序沒有借助任何爬蟲框架，原汁原味地用Python實現了一個能自動探索網站的爬蟲程序。

爬蟲的架構設計

爬蟲應當具備兩個基本能力，一是從網頁中發現URL，以便于探索更多的頁面；二是從網頁提取我們想要的數據，這也是開發爬蟲的根本目的。

一個典型的爬蟲應當具有下圖這樣的架構。

我們使用隊列去做URL存儲以便更加容易的實現自動化。如下圖所示，在隊列的tail加入待處理的URL（入隊enqueue），然后從head取出URL進行處理（出隊dequeue）。

第一次運行程序，我們放入一個種子URL到隊列中，爬蟲主體從隊列中拿到URL，通過和待抓取網站交互獲取到新的URL，再次放入到URL隊列中，同時把需要解析的數據存儲到數據庫。這便形成了一個自循環系統，只需要設計好URL抽取算法，爬蟲可以完全自動化的工作起來了！這樣看來，我們開發爬蟲需要掌握下面的知識，如果1你還不了解，可以先去百度科普一下，本文的介紹會涉及2~4的相關知識：Web網站的基本結構，HTTP和HTML相關知識。如何使用HTTP協議方法從Web站點上獲取信息。如何抽取URL和我們感興趣的結構化數據。如何存儲數據。

設計程序框架

根據架構圖，我們使用Python的Queue庫作為URL隊伍使用，新建一個爬蟲主體類，我們命名為SimpleSpider。SimpleSpider的主要功能是從隊伍中取URL、獲取網頁并從中提取URL和數據、將URL放入隊列等功能。代碼框架如下圖所示。

實現URL隊列

為了讓SimpleSpider代碼先能跑得通，我們得先把URL隊列實現了。Queue庫很簡單，我們在加入以下幾行代碼，便完成了隊列的功能。這里還簡單實現了一個去重機制（注意這種使用list去重方法效率很低而且會占用大量內存，實際項目需要用其它方式實現）。

可以注意到在初始化時把news.baidu.com加入了URL隊列，也就是我們爬蟲的起始種子URL是news.baidu.com。

實現網頁下載

需要使用HTTP協議同網站服務器溝通才能下載下來網頁，Python中最為流行的HTTP庫是requests，它的功能很強大，詳細的使用方法可以參考它的中文文檔（http://docs.python-requests.org/zh_CN/latest/user/quickstart.html）。這里只用到它很簡單的一個get方法，在程序中繼續加入以下代碼，便實現了文檔下載的功能。需要提醒的是，requests并非Python的標準庫，需要運行pip install requests安裝。

然后，我們在程序的尾部加上以下代碼，來做一個簡單的測試：

Bingo，百度新聞主頁下載下來并打印出來了！請注意，我們的document變量里存的是網頁的源代碼，因此后面的分析也是基于源代碼進行的。

實現提取URL和數據，并保存到磁盤

提取數據，可用的方法非常的多，比如正則表達式、BeautifulSoup、XPath、CssPath等都很強大，今天只簡單介紹下正則表達式。正則表達式如果想到熟練其實并不容易，不過今天教大家一個“萬金油”式的用法，足夠應付開發爬蟲最初期的需要了，那就是模糊匹配：

使用點（.）表示任意字符，使用星號（*）表示任意長度，使用問號（？）表示匹配最近的一個后續字符串，然后使用括號把你想要的數據括起來。

現在我們想要提取URL，實際上就是把網頁上的<a ... >中的href=""兩個引號中間的內容取出來，寫成正則表達式就是：

'<a href="(.*?)"'

現在我們要把源代碼中所有包含new.baidu.com的URL提取出來，并重新放入URL隊列中：

提取數據的方法想必大家也都猜出來了。通過觀察百度新聞主頁發現，所有指向真正新聞內容的URL都鏈接到其它新聞發布站點上了，而且它們都在新窗口中打開（包含了_blank標記）。下面就按照這個規律把所有新聞的標題和網址提取出來，并組織成這樣的一個數據結構：{"title":"新聞標題","url":"http://xxxxx"}保存到磁盤。代碼如下，數據被保存在output.txt文件中。

完成并測試我們的爬蟲

最后，需要實現run方法，把我們的爬蟲跑起來。判定只要隊列不是空就一直循環，它完成3步操作：第1步，下載網頁，第2步，提取網頁中我們需要的URL，第3步，提取數據。我們用一個print語句把處理的結果輸出到屏幕上。啟動后爬蟲開始全自動的工作，仔細去探索百度新聞網站。

這是提取出來的數據保存到磁盤上的結果：

由于百度新聞數據量極大，加上我們沒有很好的過濾掉無用的代碼，不出意外的話，這個爬蟲會運行很久才停下來（我已經跑了1小時隊列里已經積壓了5000多個URL了[汗]，后面有機會我會告訴大家如何用多線程去極大的提高URL隊列的處理速度）。如果等不及了想看結果請直接按Ctrl+C結束進程。開發真正實用的爬蟲時，需要仔細去設計跳出循環的機制。這個小爬蟲程序是我專門為回答此問題編寫的，如果覺得幫到了你請幫忙點贊呦！大家可以照著指示寫下來應該不會有問題，或者不想動手敲代碼可以加粉私信我，我會一一回復源代碼的下載地址。也希望大家能多多轉發，大家的支持是我堅持寫下去的唯一動力！