Python是一門(mén)功能強(qiáng)大、代碼簡(jiǎn)潔易懂的編程語(yǔ)言,它廣泛應(yīng)用于數(shù)據(jù)分析、人工智能等領(lǐng)域。今天我們來(lái)介紹一下Python如何爬取美拍。
import requests from bs4 import BeautifulSoup url = 'https://www.meipai.com' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', } res = requests.get(url, headers=headers) soup = BeautifulSoup(res.text, 'html.parser') videos = soup.find_all('video') for video in videos: src = video['src'] print(src)
首先我們需要導(dǎo)入requests庫(kù)和BeautifulSoup庫(kù),requests用于發(fā)送網(wǎng)絡(luò)請(qǐng)求,BeautifulSoup用于解析HTML頁(yè)面。然后我們定義了一個(gè)目標(biāo)頁(yè)面的URL和請(qǐng)求頭部User-Agent信息。
接著,我們發(fā)送請(qǐng)求并使用BeautifulSoup庫(kù)解析頁(yè)面獲取所有的視頻。在這里我們使用了find_all()函數(shù)查找頁(yè)面中所有的video標(biāo)簽。
最后,我們可以遍歷所有的視頻并打印它們的鏈接。這段代碼非常簡(jiǎn)單,但是卻能夠快速爬取美拍上所有的視頻鏈接。