Python爬蟲在爬取網(wǎng)頁時(shí)，經(jīng)常會(huì)遇到重定向的情況。重定向是指請求的URL被服務(wù)器重定向到另一個(gè)URL上。這時(shí)候需要獲取重定向后的URL，并對其進(jìn)行爬取。下面我們來看一下如何使用Python進(jìn)行爬蟲的重定向操作。

import requests
url = 'http://www.example.com'
response = requests.get(url, allow_redirects=False)
if response.status_code == 302:
new_url = response.headers['Location']
response = requests.get(new_url)
print(response.text)

以上代碼首先使用requests庫向目標(biāo)網(wǎng)站發(fā)送請求并關(guān)閉重定向功能。接著，判斷返回狀態(tài)碼是否為302重定向狀態(tài)。如果是，則獲取重定向的新URL并再次使用requests庫發(fā)送請求。最后打印返回的內(nèi)容。

另外，當(dāng)需要允許重定向的時(shí)候，只需把a(bǔ)llow_redirects參數(shù)設(shè)置為True即可：

response = requests.get(url, allow_redirects=True)

通過以上代碼，我們可以輕松地應(yīng)對Python爬蟲中的重定向問題。需要注意的是，在處理重定向時(shí)，要避免進(jìn)入死循環(huán)或者陷入無限重定向的情況，避免造成服務(wù)器負(fù)擔(dān)。