Python 作為一種強大的編程語言,可以幫助我們實現許多有趣的功能,其中之一就是采集互聯網上的數據。下面我們來看一個使用 Python 采集網站數據的案例。
import requests from bs4 import BeautifulSoup # 設置請求頭 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 發送請求 response = requests.get("https://www.zhihu.com/hot", headers=headers) # 解析 HTML 頁面 soup = BeautifulSoup(response.content, 'html.parser') # 獲取熱榜標題 titles = soup.find_all('div', class_='HotItem-content') # 打印熱榜標題 for title in titles: print(title.h2.string)
在上面的代碼中,我們先通過 requests 庫向知乎熱榜這個頁面發送了一個請求,并設置請求頭,接著使用 BeautifulSoup 庫解析 HTML 頁面,獲取到熱榜標題的 HTML 元素,最后打印出來。
通過這個案例,我們可以看出 Python 的強大之處,使用 Python 我們可以方便地獲取到互聯網上的數據,并進行各種操作。