欧美一区二区三区,国内熟女精品熟女A片视频小说,日本av网,小鲜肉男男GAY做受XXX网站

mysql命令 導出數據,如何將scrapy爬蟲的數據存到mysql中

錢良釵2年前19瀏覽0評論
mysql命令 導出數據,如何將scrapy爬蟲的數據存到mysql中?

Scrapy依賴于twisted,所以如果Scrapy能用,twisted肯定是已經安裝好了。抓取到的數據,可以直接丟到MySQL,也可以用Django的ORM模型丟到MySQL,方便Django調用。

方法也很簡單,按數據庫的語句來寫就行了,在spiders目錄里定義自己的爬蟲時也可以寫進去。當然使用pipelines.py是更通用的方法,以后修改也更加方便。

你的情況,應該是沒有在Settings.py里定義pipelines,所以Scrapy不會去執行,就不會生成pyc文件了。