網(wǎng)絡(luò)爬蟲又稱網(wǎng)絡(luò)蜘蛛、網(wǎng)絡(luò)螞蟻、網(wǎng)絡(luò)機器人等，可以自動化瀏覽網(wǎng)絡(luò)中的信息，當(dāng)然瀏覽信息的時候需要按照我們制定的規(guī)則進行，這些規(guī)則我們稱之為網(wǎng)絡(luò)爬蟲算法。
使用Python可以很方便地編寫出爬蟲程序，進行互聯(lián)網(wǎng)信息的自動化檢索。
網(wǎng)絡(luò)爬蟲是一種按照一定的規(guī)則，自動地抓取互聯(lián)網(wǎng)信息的程序或者腳本。
1.相比與其他靜態(tài)編程語言，python抓取網(wǎng)頁文檔的接口更簡潔；python的urllib2包提供了較為完整的訪問網(wǎng)頁文檔的API。
2.抓取網(wǎng)頁有時候需要模擬瀏覽器的行為，很多網(wǎng)站對于爬蟲抓取都是封殺的。需要模擬user agent的行為構(gòu)造合適的請求，譬如模擬用戶登陸、模擬session/cookie的存儲和設(shè)置。在python里都有非常優(yōu)秀的第三方包幫你搞定，如Requests，mechanize。
3.抓取的網(wǎng)頁通常需要處理，比如過濾html標(biāo)簽，提取文本等。python的beautifulsoap等提供了簡潔的文檔處理功能，能用極短的代碼完成大部分文檔的處理。
其實以上功能很多語言和工具都能做，但是用python能夠干得最快，最干凈。
世界上80%的爬蟲是基于Python開發(fā)的，學(xué)好爬蟲技能，可為后續(xù)的大數(shù)據(jù)分析、挖掘、機器學(xué)習(xí)等提供重要的數(shù)據(jù)源。
什么是爬蟲?
網(wǎng)絡(luò)爬蟲通俗的講就是通過程序去獲取web頁面上自己想要的數(shù)據(jù)，也就是自動抓取數(shù)據(jù)。
爬蟲可以做什么?
你可以用爬蟲爬圖片，爬取視頻等等你想要爬取的數(shù)據(jù)，只要你能通過瀏覽器訪問的數(shù)據(jù)都可以通過爬蟲獲取。
什么是Python?
Python(大蟒蛇)是一門解釋型、面向?qū)ο蟆в袆討B(tài)語義的高級程序設(shè)計語言。
Python具有強大而豐富的類庫，也經(jīng)常被別人說是膠水語言，可以跟其它語言寫的模塊結(jié)合在一起。
優(yōu)點
1.簡單：Python是一種代表簡單主義思想的語言。
2.易用：Python簡單容易上手，因為有簡單容易看懂的文檔。
3.速度快：運行速度快，因為Python中的標(biāo)準(zhǔn)庫和第三方庫都是C語言編寫的，所以很快。
4.免費、開源：Python是一款FLOSS(自由/源代碼軟件)之一，使用者可以自由地發(fā)布這個軟件的拷貝、閱讀它的源代碼、對它做改動、把它的一部分用于新的自由軟件中。
5.高層語言：用Python語言編寫程序的時候無需考慮諸如如何管理你的程序使用的內(nèi)存一類的底層細節(jié)。
6.可移植性：由于它的開源本質(zhì)，Python已經(jīng)被移植在許多平臺上(經(jīng)過改動使它能夠工作在不同平臺上)。
7.解釋性：Python語言寫的程序不需要編譯成二進制代碼。你可以直接從源代碼運行 程序。在計算機內(nèi)部，Python解釋器把源代碼轉(zhuǎn)換成稱為字節(jié)碼的中間形式，然后再把它翻譯成計算機使用的機器語言并運行。這使得使用Python更加簡單。也使得Python程序更加易于移植。
8.面向?qū)ο螅篜ython既支持面向過程的編程也支持面向?qū)ο蟮木幊獭Ｔ凇懊嫦蜻^程”的語言中，程序是由過程或僅僅是可重用代碼的函數(shù)構(gòu)建起來的。在“面向?qū)ο蟆钡恼Z言中，程序是由數(shù)據(jù)和功能組合而成的對象構(gòu)建起來的。
9.可擴展性：如果需要一段關(guān)鍵代碼運行得更快或者希望某些算法不公開，可以部分程序用C或C++編寫，然后在Python程序中使用它們。
10.可嵌入性：可以把Python嵌入C/C++程序，從而向程序用戶提供腳本功能。
11.豐富的庫：Python標(biāo)準(zhǔn)庫確實很龐大。它可以幫助處理各種工作，包括正則表達式、文檔生成、單元測試、線程、數(shù)據(jù)庫、網(wǎng)頁瀏覽器、CGI、FTP、電子郵件、XML、XML-RPC、HTML、WAV文件、密碼系統(tǒng)、GUI(圖形用戶界面)、Tk和其他與系統(tǒng)有關(guān)的操作。
12.規(guī)范的代碼：Python采用強制縮進的方式使得代碼具有較好可讀性。而Python語言寫的程序不需要編譯成二進制代碼。
首先安裝python環(huán)境，其次網(wǎng)上找可以工作的代碼，最后改成自己需要的。