scrapy模塊詳解？

scrapy底層使用的是twisted框架, 是異步抓取的一個(gè)框架。

scrapy的優(yōu)勢(shì):

1.已經(jīng)幫你完成了請(qǐng)求, 下載，以及請(qǐng)求失敗重試, 統(tǒng)計(jì)；

2.使你寫(xiě)爬蟲(chóng)更加規(guī)范化；

3.性能很好(除非自己寫(xiě)出來(lái)阻塞)；

4.擴(kuò)展性好, 而且附加的庫(kù)也比較多, 比如代理、緩存、以及管理web都比較多。