Python是一種廣泛使用的編程語言,用于許多不同的應(yīng)用程序。當然,Python也可以用于爬取評論。在本文中,我們將介紹如何使用Python爬取網(wǎng)站的評論,并將數(shù)據(jù)存儲到本地文件中。
import requests from bs4 import BeautifulSoup page_url = 'https://www.example.com/page' response = requests.get(page_url) soup = BeautifulSoup(response.text, 'html.parser') comments = [] for comment in soup.findAll('div', {'class': 'comment'}): comment_text = comment.find('p', {'class': 'comment-text'}).text.strip() comments.append(comment_text) with open('comments.txt', 'w') as f: for comment in comments: f.write(comment + '\n')
代碼解釋:
首先,我們導入所需的庫。然后,我們設(shè)置要爬取的頁面的URL,并使用requests庫獲取響應(yīng)。接下來,我們使用BeautifulSoup庫將響應(yīng)轉(zhuǎn)換為可供解析的HTML。
使用findAll函數(shù),我們遍歷HTML以找到評論。我們查找具有評論文本的元素并將其添加到評論列表中。最后,我們將數(shù)據(jù)寫入本地文件。
使用Python爬取評論是一種有用的技能,可以用于許多用例。無論要分析產(chǎn)品評論、社交媒體帖子還是新聞文章,這個簡單的Python腳本都可以輕松快速地幫你完成任務(wù)。
上一篇python 爬取 股票
下一篇python 看朋友圈