mysql命令 導出數據,如何將scrapy爬蟲的數據存到mysql中?
Scrapy依賴于twisted,所以如果Scrapy能用,twisted肯定是已經安裝好了。抓取到的數據,可以直接丟到MySQL,也可以用Django的ORM模型丟到MySQL,方便Django調用。
方法也很簡單,按數據庫的語句來寫就行了,在spiders目錄里定義自己的爬蟲時也可以寫進去。當然使用pipelines.py是更通用的方法,以后修改也更加方便。
你的情況,應該是沒有在Settings.py里定義pipelines,所以Scrapy不會去執行,就不會生成pyc文件了。
上一篇html用什么軟件