其實Python做爬蟲的開源項目還挺多的，列舉幾個供你參考。

Crawlab

技術：Golang + Vue

有點：不局限于 scrapy，可以運行任何語言和框架的爬蟲，精美的 UI 界面，天然支持分布式爬蟲，支持節點管理、爬蟲管理、任務管理、定時任務、結果導出、數據統計、消息通知、可配置爬蟲、在線編輯代碼等功能

缺點：暫時不支持爬蟲版本管理

評分：14.2K

Scrapydweb

技術：Python Flask + Vue

優點：精美的 UI 界面，內置了 scrapy 日志解析器，有較多任務運行統計圖表，支持節點管理、定時任務、郵件提醒、移動界面，算是 scrapy-based 中功能完善的爬蟲管理平臺

缺點：不支持 scrapy 以外的爬蟲，Python Flask 為后端，性能上有一定局限性

評分：1.2K

Gerapy

技術：Python Django + Vue

優點：Gerapy 是崔慶才大神開發的爬蟲管理平臺，安裝部署非常簡單，同樣基于 scrapyd，有精美的 UI 界面，支持節點管理、代碼編輯、可配置規則等功能

缺點：同樣不支持 scrapy 以外的爬蟲，而且據使用者反饋，1.0 版本有很多 bug，期待 2.0 版本會有一定程度的改進

評分：1.9K

SpiderKeeper

技術：Python Flask

優點：基于 scrapyd，開源版 Scrapyhub，非常簡潔的 UI 界面，支持定時任務

缺點：可能有些過于簡潔了，不支持分頁，不支持節點管理，不支持 scrapy 以外的爬蟲

評分：2.9K

Awesome-Spider

這里面收集了很多現成的爬蟲。最后請良性的使用爬蟲技術，技術是無辜的，它沒有辨別能力的。斟酌使用！

如果你覺得對你有幫助，或還有其它想了解，歡迎留言關注@杰森夢想家。