Python網絡爬蟲比較容易學習,讓人比較有成就感。下面我來說說我的看法,供大家參考參考:
1.精通Python網絡爬蟲 核心技術、框架與項目實戰,韋瑋(書籍,容易入門,但知識點不是很全)
2.用Python寫網絡爬蟲(書籍,入門級)
3.Python爬蟲開發與項目實戰(書籍,知識點比較全,但對于沒學過編程或者說編程能力不強的朋友來說,不容易學)
4. Python + 網絡爬蟲開發實戰(書籍,比較難)
建議初學者以1,2為主要方向跟著學習,以3,4為輔助資料學習。
(小編有以上資料,需要的讀者朋友私聊我)
以上是我的看法,希望對讀者有幫助。
1. Django, 是一個開放源代碼的Web應用框架,由Python寫成。采用了MVT的軟件設計模式,即模型(Model),視圖(View)和模板(Template), 鼓勵快速開發和簡潔實用的設計。它由經驗豐富的開發人員構建,它解決了Web開發的大部分麻煩,因此您可以專注于編寫應用程序而無需重新發明輪子。
2. Flask, 是一個輕量級的WSGI Web應用程序框架。它旨在使快速入門變得容易,并具有擴展到復雜應用程序的能力。它最初是圍繞Werkzeug 和Jinja的簡單包裝,并已成為最受歡迎的Python Web應用程序框架之一.Flask沒有默認使用的數據庫、窗體驗證工具。然而,Flask保留了擴增的彈性,可以用Flask-extension加入這些功能:ORM、窗體驗證工具、文件上傳、各種開放式身份驗證技術。
3. web2py, 最初被設計為一種教學工具,著重于易于使用和部署。因此,它沒有任何項目級配置文件。web2py的設計靈感來自Ruby on Rails和Django框架。像這些框架一樣,web2py專注于快速開發,相對于配置方法更傾向于約定俗成,并遵循模型-視圖-控制器(MVC)的架構模式。
4. Sanic, 異步框架Sanic建立在uvloop之上,是一個簡單且開源的Python框架,專門開發用于通過異步請求處理提供快速的HTTP響應。因此,它是Python的異步框架。Sanic支持異步請求處理程序,使其與Python 3.5的async / await函數兼容。它不僅可以提高速度,還可以提供非阻塞功能。在一個流程和100個連接的基準測試中,Sanic能夠在一秒鐘內處理多達33,342個請求。
5. Tornado, 異步框架Tornado是一個開源Python框架和一個異步網絡庫。除了解決C10k問題(這僅意味著在任何給定時間處理10k連接)之外,異步框架還使用非阻塞網絡I / O。Python框架最初是為一家名為FriendFeed的公司開發的,該公司于2009年被Facebook收購。Tornado是構建要求高性能和數千用戶的應用程序的理想工具。
Python不僅開源,而且幾乎可以在任何平臺下運行,如我們所熟悉的:Windows/Unix/Linux/Macintosh。
在這里我們說一下,在Windows操作系統中安裝python。
我的操作系統為:Windows 7,32位為例
安裝python的時候,我們既可以從源碼安裝,同時也可以用已經編譯好并且打包好的二進制版本進行安裝,這里我選擇的是后者。
步驟一 下載安裝包
我們從python官方網站:http://www.python.org下載python的安裝包
這里我選擇的是:python-3.3.2.msi
點擊即可下載獲取得到:python-3.3.2.msi安裝包。該安裝包大小:19.3 MB
步驟二 安裝
下載獲取到:python-3.3.2.msi安裝包,我們雙擊python-3.3.2.msi即可進行安裝操作
我安裝的目錄為:E:\Python33
點擊Next,即進行安裝,安裝過程需要幾分鐘
點擊Finish結束安裝。
步驟三 路徑設置
一般情況下,我們安裝好Python之后便可以直接使用。可以在命令行下輸入Python看是否可以進入Python的交互模式,
如果不能進入,則有可能是環境變量問題,需要做一些調整。
在Windows的路徑添加Python的目錄:
命令提示符 : 類似于環境變量路徑 %path%;C:Python ,回車;
或者您可以在圖形界面下操作設置環境變量,計算機->屬性->高級系統設置->高級->環境變量
步驟四 效果
安裝完后的安裝目錄文件:
到此,python的安裝就算是成功了。
之前對于pycharm中的各種解釋器的設置一頭霧水,今天來總結一下。
在建立新的project的時候有兩種方式,一種是conda環境,一種是virtual環境。其實這兩種方式都可以將不同的project和環境隔離開。這也就意味著我們可以將project可以設置成我們任意想要的版本形式,比如我可以在A project中用的是python2.7.在Bproject 中用的是python 3.3.2這兩個project互不影響沖突.但是有一個問題.我們怎么把第三方庫/包安裝在指定的conda enviroment 中.我之前安裝的第三方庫都裝在哪里了?
我們這里測試建立一個conda enviroment .project location為 home/quinn/test conda enviroment location為/home/quinn/anaconda3/envs/test python version 為3.3.2.這里的版本也是可選的.這樣我們就替代了在anaconda prompt 中創建envroment了 conda create --name test python=3.6了我們現在可以看到在anaconda navigator中已經有了這個環境了.這就意味著我們又創建了一個新隔離的環境.而virtual environment可以選擇各種編譯器.可以是你在conda中生成的一個環境,也可以是ubuntu自帶的python解釋器.
為了方便,我先建立幾個常用的conda環境,比如 python3.3.2 python2.7然后以后在創建project的時候,直接在exixting interpreter 中選擇就可以.同理如果想在existing中選擇本地local的話,可以不用再創建了.直接在virtual 中選一個曾經建立好的irtual environment 中建立就可以.或者在conda environment中,選擇home/quinn/anaconda3/envs/python36/bin/python3.3.2.就可以了
我們可以用conda install packname 來安裝第三方庫或者 anaconda search -t conda pillow
再用show指令來安裝
將安裝好的第三方庫加載到環境中,用安裝python第三方庫
現在還有一個問題,怎么在ubunu prompt中更改python版本?也就是更改base environment的版本
還有一個就是之前conda安裝的包都安裝到哪里了?
安裝到anaconda3/pkgs里面了,里面是各種包
在終端使用pip下載的第三方package將存放在以下目錄:
/usr/local/lib/python3.5/dist-packages
只要將上圖中對應的package復制到venv中的對應的site-package文件夾即可,該文件夾的目錄如下
~/venv/lib/python3.5/site-package(我的python interprefer為3.3.2版本)
1. 如果你經濟條件較好,那么建議去你專業的Python機構系統的學習該編程。
2.如果還是學生,那我建議,應該多買一些Python書籍,同時在網絡上找一些教學視頻。通過看書與看視頻相結合。最好把看書作為重點,因為教學視頻講的東西不是你自己的,你要通過看書來消化。
3.同時不要忘記一點,一定要多動手敲代碼,編程語言都是需要自己動手來完成,多練。
我這有豐富的Python教學視頻,如果大家有需要的,
可以點波關注,同時下方評論,我想要Python教學視頻。
然后把百度云賬號發我,我會免費分享給大家。