Python是一種非常流行的編程語言，在編寫網(wǎng)絡(luò)爬蟲時，Python內(nèi)置的爬蟲庫非常實用。以下是幾個常見的Python爬蟲內(nèi)置庫：

# requests庫
import requests
response = requests.get('http://example.com')
print(response.text)
# 此段代碼使用requests庫向http://example.com發(fā)起請求，并打印返回的HTML文本。

requests庫用于向網(wǎng)絡(luò)服務(wù)器發(fā)送HTTP請求并獲取響應(yīng)。可以進(jìn)行GET、POST、PUT、DELETE等HTTP請求。

# beautifulsoup庫
from bs4 import BeautifulSoup
html_doc = """
The Dormouse's story
Once upon a time there were three little sisters; and their names wereElsie,LacieandTillie;  
and they lived at the bottom of a well.
...
"""
soup = BeautifulSoup(html_doc, 'html.parser')
print(soup.prettify())
# 此段代碼使用beautifulsoup庫處理HTML文本，將其轉(zhuǎn)換為可讀的結(jié)構(gòu)化數(shù)據(jù)。

beautifulsoup庫用于解析HTML和XML文本，可用于提取網(wǎng)頁中的數(shù)據(jù)、修改文檔內(nèi)容等。

# scrapy庫
import scrapy
class MySpider(scrapy.Spider):
name = 'example.com'
allowed_domains = ['example.com']
start_urls = [
'http://www.example.com',
]
def parse(self, response):
self.log('A response from %s just arrived!' % response.url)
# 此段代碼使用scrapy庫定義了一個名為MySpider的爬蟲，并設(shè)定了爬取的開始頁面和要爬取的域名。

scrapy庫是一個Python應(yīng)用程序框架，用于方便地從網(wǎng)站上提取結(jié)構(gòu)化數(shù)據(jù)。它使用Twisted引擎來處理異步處理，提供自定義中間件和豐富的擴(kuò)展功能。