Python是一種強大的腳本語言,其爬蟲能力十分出色。但如果頻繁地訪問一個網站,則很容易被封鎖IP地址。為了解決這個問題,我們可以使用代理服務器。
import requests url = 'https://www.example.com' proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", } response = requests.get(url, proxies=proxies) print(response.content)
在上述示例中,我們使用requests庫訪問一個網站,同時還使用了代理服務器來避免IP封鎖。proxies的鍵是URL末端的“http”或“https”,值是代理服務器的地址和端口。
需要注意的是,使用代理不一定能100%保證不被封鎖。有些網站會檢測代理服務器并將其列入黑名單。