Python是一門廣泛使用于數據分析、機器學習以及Web開發的高級編程語言。在Web開發領域,Python可以使用其強大的網絡庫和數據處理能力快速開發出各種應用。在本文中,我們將使用Python編寫一個簡單的爬蟲來爬取招聘網站的職位信息。
import requests from bs4 import BeautifulSoup def get_jobs(url): r = requests.get(url) r.encoding = r.apparent_encoding soup = BeautifulSoup(r.text, 'html.parser') jobs = [] for job in soup.find_all(class_='job-listitem'): title = job.h2.a.text.strip() company = job.h3.a.text.strip() location = job.find(class_='job-area').text.strip() salary = job.find(class_='job-taglist').text.strip() jobs.append({'title': title, 'company': company, 'location': location, 'salary': salary}) return jobs if __name__ == '__main__': url = 'https://www.zhipin.com/c101280100/h_101280100/' jobs = get_jobs(url) print(jobs)
以上代碼包括了兩個模塊,分別是requests模塊和BeautifulSoup模塊。requests模塊用于發送HTTP請求,獲取網頁內容;而BeautifulSoup模塊則用于解析HTML頁面,提取我們需要的信息。
在代碼中,get_jobs()函數接收一個招聘網站的網址,并返回一個職位信息列表。在函數內部,我們首先使用requests模塊獲取網頁內容,然后使用BeautifulSoup模塊解析HTML頁面,對頁面進行篩選和提取,最終將職位信息以字典的形式存儲在jobs列表中,并返回該列表。
在主程序中,我們調用get_jobs()函數,并將其結果存儲在jobs變量中。最后,我們將其打印輸出。
上一篇python 監聽日志
下一篇c 打開json文本