欧美一区二区三区,国内熟女精品熟女A片视频小说,日本av网,小鲜肉男男GAY做受XXX网站

scrapy爬取豆瓣電影250為什么代碼感覺都對(duì)了,但運(yùn)行時(shí)出現(xiàn)了錯(cuò)誤?

首先說明一下,題主在提問的時(shí)候盡量把問題描述清楚,這樣才能針對(duì)你出現(xiàn)問題的地方給出準(zhǔn)確的回答。

題主只說明了在運(yùn)行時(shí)有錯(cuò)誤,可以卻并沒有給出錯(cuò)誤信息,我也不知道該怎么回答你的,索性我立馬寫一下代碼,題主可以對(duì)比你自己的代碼參考一下。

首先在工作目錄創(chuàng)建一個(gè)scrapy工程:scrapystartprojectdoubantop250

然后進(jìn)入項(xiàng)目目錄:cddoubantop250

scrapygenspiderdouban"https://movie.douban.com/top250"

接下來使用pycharm打開剛剛新建好的scrapy項(xiàng)目。

打開spiders目錄下的douban.py文件,在defparse(self,response):中編寫具體的代碼

首先我們先分析網(wǎng)頁結(jié)果,F(xiàn)12打開cchrome瀏覽器的開發(fā)者工具

鼠標(biāo)左鍵單擊紅色區(qū)域的圖標(biāo),然后把鼠標(biāo)移動(dòng)到我們需要提取的數(shù)據(jù)上。

我們發(fā)現(xiàn),我們需要的數(shù)據(jù)都在li標(biāo)簽里面。每一個(gè)li便簽代表一部電影

每頁有25個(gè)li標(biāo)簽,也就是有25部電影??偣灿?0也,250部電影。

然后我們在網(wǎng)頁上右鍵點(diǎn)擊查看網(wǎng)頁源代碼,隨便搜索一部電影的名稱,在網(wǎng)頁源代碼中可以找到電影名稱,說明我們需要提取的在網(wǎng)頁源代碼中,我們可以直接提取數(shù)據(jù)。

下面就開始寫具體的代碼,我喜歡使用xpath。

先提取出了每部電影的所有信息,然后在此基礎(chǔ)上提取電影的名稱、演員列表、分類、評(píng)論數(shù)。

完整代碼如下

在CMD中運(yùn)行:scrapycrawldouban-odouban.csv,把數(shù)據(jù)保存到csv文件中

直接打開csv文件可能會(huì)出現(xiàn)亂碼,可以使用notepad++把編碼轉(zhuǎn)換為UTF-8-BOM編碼。

代碼寫的有些簡單,僅僅滿足了提取數(shù)據(jù)的要求。

希望可以幫助到題主,如果有什么問題,可以在評(píng)論區(qū),一起討論,一起學(xué)習(xí)。