欧美一区二区三区,国内熟女精品熟女A片视频小说,日本av网,小鲜肉男男GAY做受XXX网站

Python爬蟲返回的是一個空列表是什么原因?

呂致盈2年前11瀏覽0評論

最有可能的原因是這個網頁的數據是動態加載的,不在網頁源碼中,在一個json文件中,只有在重新請求頁面時,才會加載這些json數據,所以,如果直接爬取頁面的話,返回的數據肯定是空的,下面我簡單介紹一個示例,分析一下:

1.這里以人人貸上面的債權數據為例,如下,如果直接點擊對應的元素,選擇“檢查”,我們就可以發現數據就在標簽中,如下:

但其實,這是不對的,如果直接請求這個頁面,我們獲取的是網頁源碼,而打開網頁源碼,我們會發現,這些數據是不在網頁源碼的,即動態加載的,所以直接爬取的話,返回的數據肯定為空:

2.所以這時,我們就需要進行抓包分析,按F12,調出開發者工具,依次選擇“Network”->“XHR”,F5重新刷新頁面,如下,就看到動態加載的文件信息,如下,一個json文件,點擊進去,就可以發現我們需要爬取的數據:

這次,我們在根據抓包獲得的json文件url,請求解析解析這個json文件,就能獲得我們需要的數據,代碼如下:

程序運行截圖,如下,已經成功抓取到我們所需要的數據:

至此,我們就爬取到了我們需要的數據。出現爬取數據為空的情況下,很有可能網頁的數據是動態加載的,這個時候我們查看一下網頁源碼,查找一下相關數據,如果找不到,很可能就是動態加載的,再結合抓包分析一下,很快就能發現問題所在,找到對應的json文件,進行解析,就能提取出我們需要的數據,網上也有相關教程和資料,感興趣的話,可以搜一下,希望以上分享的內容能對你有所幫助吧,也歡迎大家評論、留言。