scrapy是什么的縮寫(xiě)？

1.scrapy是蜘蛛爬蟲(chóng)框架，我們用蜘蛛來(lái)獲取互聯(lián)網(wǎng)上的各種信息，然后再對(duì)這些信息進(jìn)行數(shù)據(jù)分析處理。

2.Scrapy的組成

引擎：處理整個(gè)系統(tǒng)的數(shù)據(jù)流處理，出發(fā)事務(wù)

調(diào)度器: 接受引擎發(fā)過(guò)來(lái)的請(qǐng)求，壓入隊(duì)列中，并在引擎再次請(qǐng)求的時(shí)候返回

下載器: 下載網(wǎng)頁(yè)內(nèi)容，并將網(wǎng)頁(yè)內(nèi)容返回給蜘蛛

蜘蛛: 蜘蛛是主要干活的，用來(lái)制定特定域名或網(wǎng)頁(yè)的解析規(guī)則

項(xiàng)目管道: 清洗驗(yàn)證存儲(chǔ)數(shù)據(jù)，頁(yè)面被蜘蛛解析后，被發(fā)送到項(xiàng)目管道，并經(jīng)過(guò)幾個(gè)特定的次序處理數(shù)據(jù)。

下載器中間件: 位于引擎和下載器之間，處理引擎與下載器之間的請(qǐng)求及響應(yīng)

蜘蛛中間件:位于引擎和蜘蛛之間，處理從引擎發(fā)送到調(diào)度的請(qǐng)求及響應(yīng)