1.Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。可以應用在包括數據挖掘，信息處理或存copy儲歷史數據等一系列的程序中2.pyspider是一個用python實現的功能強大的網絡爬蟲系統，能在瀏覽器界面上進行腳本的編寫，功能的調度和爬取結果的實時查看，后端使用常用的數據庫進行爬取結果的存儲，還能定時設置任務與任務優先級等。3.Crawley可以高速爬取對應網站的內容，支持關系和非關系數據庫，數據可以導出為JSON、XML等4.BeautifulSoup是一個可以從HTML或XML文件中提取數據的知Python庫.它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.BeautifulSoup會幫你節省數小時甚至數天的工作時間。