爬蟲連接MySQL數據庫,并將爬取到的數據存儲到數據庫中。
nector庫
nectorstallysqlnectorstallysqlnector來安裝該庫。
2. 創建MySQL數據庫
代碼來創建數據庫。
代碼示例,用于創建一個名為test_db的數據庫:
portysqlnector
ydbysqlnectornect(
host="localhost",
password="yourpassword"
ycursorydb.cursor()
ycursor.execute("CREATE DATABASE test_db")
ysqlnectorycursor對象執行CREATE DATABASE語句來創建一個名為test_db的數據庫。
3. 連接MySQL數據庫
代碼示例,用于連接到名為test_db的數據庫:
portysqlnector
ydbysqlnectornect(
host="localhost",
database="test_db"
ycursorydb.cursor()
ysqlnectorycursor對象來執行SQL語句。
4. 創建數據表
代碼示例,用于創建一個名為test_table的數據表:
portysqlnector
ydbysqlnectornect(
host="localhost",
database="test_db"
ycursorydb.cursor()
ycursorame VARCHAR(255), age INT)")
ycursorame和age。其中,id字段是自增長的主鍵。
5. 將數據存儲到MySQL數據庫
代碼示例,用于爬取數據并將數據存儲到MySQL數據庫中:
portysqlnectorport requestsport BeautifulSoup
ydbysqlnectornect(
host="localhost",
database="test_db"
ycursorydb.cursor()
ple"se = requests.get(url)
setentl.parser")
data = []d"):amed("h1").text.strip()d", class_="age").text.strip()dame, age))
ame, age) VALUES (%s, %s)"ycursorany(sql, data)
ydbmit()
ysqlnector庫連接到MySQL數據庫,并使用requests和BeautifulSoup庫爬取數據。然后,將爬取到的數據存儲到一個名為data的列表中。
ycursorydbmit()方法提交事務,以確保數據被成功存儲到數據庫中。
ysqlnector代碼連接到MySQL數據庫,并將爬取到的數據存儲到數據表中。在實際的數據爬取項目中,我們還需要考慮數據的去重、異常處理等問題。