Python下的爬蟲庫，一般分為3類。

抓取類

urllib(Python3)，這是Python自帶的庫，可以模擬瀏覽器的請求，獲得Response用來解析，其中提供了豐富的請求手段，支持Cookies、Headers等各類參數，眾多爬蟲庫基本上都是基于它構建的。建議學習了解一下，因為有些罕見的問題需要通過底層的方式解決。

requests，基于urllib，但是更方便易用。強烈推薦掌握。

解析類

re：正則表達式官方庫，不僅僅是學習爬蟲要使用，在其他字符串處理或者自然語言處理的過程中，這是繞不過去的一個庫，強烈推薦掌握。

BeautifulSoup：方便易用，好上手，推薦掌握。通過選擇器的方式選取頁面元素，并獲取對應的內容。

lxml：使用

lxml.etree

將字符串轉換之后，我們可以使用XPath表達式來解析網頁，終極推薦。XPath對于網頁解析的支持非常強大，而且很容易上手。它本來是設計出來進行XML元素選擇的，但是它同樣支持HTML。

pyquery：另一個強大的解析庫，感興趣的可以學習下。

綜合類

selenium：所見即所得式爬蟲，綜合了抓取和解析兩種功能，一站式解決。很多動態網頁不太容易通過requests、scrapy直接抓取，比如有些url后邊帶了加密的隨機數，這些算法不太好破解，這種情況下，只能通過直接訪問網址、模擬登陸等方式請求到頁面源碼，直接從網頁元素中解析內容，這種情況下，Selenium就是最好的選擇。不過Selenium最初設計出來，是用于測試的。強烈推薦。

scrapy：另一個爬蟲神器，適合爬取大量頁面，甚至對分布式爬蟲提供了良好的支持。強烈推薦。

以上這些是我個人經常使用的庫，但是還有很多其他的工具值得學習。比如Splash也支持動態網頁的抓??；Appium可以幫助我們抓取App的內容；Charles可以幫助我們抓包，不管是移動端還是PC網頁端，都有良好的支持；pyspider也是一個綜合性的框架；MySQL(pymysql)、MongoDB(pymongo)，抓到了數據就要存儲，數據庫也是繞不過去的。

掌握了以上這些，基本上大部分的爬蟲任務都難不倒你啦！

你也可以關注我的頭條號，或者我的個人博客，里邊會有一些爬蟲類的分享。數洞: www.data-insights.cn/www.data-insight.cn.

學習Python的人都知道一句話：人生苦短，我用Python!從2017年開始，借助人工智能之勢Python的排名持續上升，對于一直火爆的游戲行業，Python游戲開發有錢途嗎?學習Python語言有哪些就業方向？

發展前景一：Python Web網站工程師

我們都知道Web一直都是不可忽視的存在，我們離不開網絡，離不開Web，利用Python的框架可以做網站，而且都是一些精美的前端界面，還有我們需要掌握一些數據的應用。

發展前景二：Linux運維

用python實現的測試工具及過程，包含服務器端、客戶端、web、andriod、client端的自動化測試，自動化性能測試的執行、監控和分析，常用selenium appium等框架。

Linux運維是必須而且一定要掌握Python語言，Python是一門非常厲害的編程語言，它可以滿足Linux運維工程師的工作需求提升效率，總而提升自己的能力，運維工程師需要自己獨立開發一個完整的自動化系統時，這個時候才是真正價值的體現，才能證明自身的能力，讓老板重視。

發展前景三：數據分析

我們都知道現在來臨了大數據的時代，數據可以說明一切問題的原因，現在很多做數據分析的不是原來那么簡單，Python語言成為了做數據分析師的第一首選，它同時可以給工作帶來很大的效率。

Python有三大神器：numpy,scipy,matplotlib,其中numpy很多底層使用C語言實現的，所以速度很快，用它參加各種數學建模大賽，完全可以替代r語言和MATLAB。spark，Hadoop都開了Python的接口，所以使用Python做大數據的mapreduce也非常簡單，加上py對數據庫支持都很好，或者類似sqlalchemy的orm也非常強大好用。

發展前景四：人工智能

我們都知道谷歌制作出了的機器人戰勝了一個圍棋大師，這個就是目前剛出頭的人工智能，當然我們的人工智能時代還沒有到來，如果這天來了，生活和世界將會發生翻天覆地的變化，而且現在發展這么快，人工智能的時代不會太遠。

發展前景五：3D游戲開發

Python有很好的3D渲染庫和游戲開發框架，有很多使用Python開發的游戲，如迪斯尼卡通城、黑暗之刃。常用PyGame、Pykyra等和一個PyWeek的比賽。

不難看出Python很適合游戲開發，Python 非常適合編寫 1 萬行以上的項目，而且能夠很好地把網游項目的規?？刂圃?10 萬行代碼以內，使用Python游戲開發非常方便。

你好，我是中移的一名通訊工程師，很高興回答你的問題。

說起來也遺憾，難過，我雖然是通訊行業的，但也是因為想著多學一點知識，19年中旬找到了一個免費學習網站學習python，但是由于各種原因，學完了80%了，最后20%還是沒能堅持下來，所以我這些話可能含有一些負能量，但我希望在我介紹這個網站之前，能讓你明白學習是必須持之以恒，決定了的事就一定要做好，及時我現在在通訊行業也干得不錯哈。呵呵。

直接不如主題吧，相比你是對python是有一定了解的了，也不用我介紹他的優勢了，但學習python的網站機構太多了，誰叫這個“蟒蛇”突然火起來了呢？hei(黑)ma（馬）程-序員（系統會檢測廣告，沒辦法才這樣）

這個網站是我大學室友介紹的，這個機構向上線下都能培訓，在國內也小有名氣，不僅是編程語言，還有運維工程師、項目經理、PS軟件涉及、人工智能、大數據等等當下熱門的IT技術、熱門技能，它基本覆蓋

優點：1、課程免費，資源豐富，有自己的論壇，并且信息量大，可以先免費學習，覺得不錯再找線下實地培訓2、課程視頻基本都可以用百度云盤下載到你電腦上，可自由安排學習時間3、一門技術，請的基本是該行業比較有名氣的講師，好比python，那么老師至今的演講風格我都無法忘記，幽默不說，特別好理解。4、既然說到這個機構，就稍微提一下它的付費課程跟脫產課程吧。

付費課程是針對那些有一定基礎的人群所開設的，基本幾千塊錢一門技能，當然沒寄出的，可以回到上面我講的，先看免費視頻看完后就可以說有基礎了。

面授脫產課程是面向所有成年人開設的課程，我那室友說，只要下定決定學，就業率還是很高的，5個月時間，學費2萬左右（根據技能不同，價格不同），條件艱苦的可以貸款，找到了工作后在分期還，我室友學的是前端，現在深圳工作，目前工資大概10K.好啦，這是我分享的內容。希望你能喜歡

首先我不推薦哪家好那家不好，我只給你方法，你自己去判斷。

一、教學形式線上教學還是面授教學。如果你是零基礎，對IT幾乎一無所知。那么肯定建議你面授學習。當然現在市面上有很多魚目混雜的視頻班在攪亂，花幾萬塊錢缺在教室看視頻。顯然你學習的效率會很低下。

二、師資力量大家都宣稱自己是名師。但是很多機構的名師其實你并不認識（當然不認識，又不是名人。）這里給大家說明的是講師雖然有好有差，但是師父領進門修行在個人，關鍵在自己。后面可以從試聽環節了解師資。

三、試聽一般情況下都可以進班試聽。這就到了你檢測老師是否是好老師的時候了。當然仁者見仁智者見智，適合自己或者自己能聽懂的就是好老師。試聽時候認真聽，看看老師對學生的問題解答如何，對學生是否關心。

四、就業有個好的就業相信是每個同學選擇學習的最終目的?？梢远嗔私庀逻@個機構畢業的學生就業情況。如果找不到相關人員，就在網上多看看，當然要學會看清是真實的還是水軍。

五、學費及教學設施學費是一個不可避免的話題，市面上的機構學費基本差不了太多。但是要注意識別其中的貓膩，比如說分期利息、食宿是否包含等。因為對于大部分人來說幾萬塊的花銷并不是個小數目。教學設施等可以在試聽環節了解。一方面也會了解到這家機構的實力。

六、貨比三家