框架用scrapy。
模塊推薦requests+xpath或者requests+bs4。requests是爬取，xpath或者bs4是解析頁面。
如果是簡單爬取幾萬張以內頁面，requests就能搞定，幾十萬張用scrapy。再往上就要考慮分布式爬蟲了，scrapyd。
你可以看我的回答里面有關于爬蟲方面的內容