redis和scrapy有什么區別？

scrapy的請求是存儲在內存中，然后由schedule進行調度，twisted進行并發。要進行分布式，就需要多個scrapy共同參與調度。scrapy-redis使用redis數據庫，重寫了shedule里面對請求的存儲和分發方式，多個scrapy通過遠程鏈接redis數據庫來同時參與調度。

另外scrapy-redis還利用redis的set存儲結構重寫了去重的方式。

正好我也在學scrapy-redis,這是我現在的一些見解