Python 是一種很好用的編程語言,能夠處理各種任務,包括網頁爬取。這里我們將介紹如何使用 Python 爬取大眾點評網站。
import requests
from bs4 import BeautifulSoup
url = 'https://www.dianping.com/citylist/citylist?source=2'
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'}
response = requests.get(url, headers=header)
soup = BeautifulSoup(response.text, 'html.parser')
cities = soup.select('div.secondary-category >ul >li >a')
for city in cities:
print(city.get('title'))
上述代碼首先導入了 requests 和 BeautifulSoup 模塊,創建了一個 url 變量,用于指定需要爬取的大眾點評網址。然后添加了一個 header,偽裝成瀏覽器。接著,使用 requests 庫中的 get 方法得到了該網址內容,并用 BeautifulSoup 將其解析為一個 HTML 文件。
接下來,我們使用 select 方法從解析后的 HTML 中選擇出我們需要的元素。這里我們選擇城市的鏈接,它們都在 <div class="secondary-category"> 標簽內。使用 for 循環,遍歷這些鏈接,并使用 get 方法得到它們的 title 屬性值,最后打印出城市名。
以上就是使用 Python 爬取大眾點評的方法了。