Python是現在最受歡迎的Web爬蟲工具之一,它可以用來爬取各種數據。特別是在人才招聘的領域,爬蟲工具可以用于快速獲取有用的招聘信息。本文將介紹如何使用Python爬取智聯招聘網站的招聘信息。
# 導入必要的Python庫 import requests from bs4 import BeautifulSoup # 定義函數獲取HTML頁面 def get_html(url): html = requests.get(url) return html.content # 定義函數解析HTML頁面獲取招聘信息 def parse_html(html): soup = BeautifulSoup(html, 'html.parser') jobs = [] for job in soup.find_all('div', class_='job-info'): title = job.find('a', class_='job-name').get_text() company = job.find('a', class_='company-name').get_text() salary = job.find('div', class_='job-salary').get_text() jobs.append({'title': title, 'company': company, 'salary': salary}) return jobs # 程序入口 if __name__ == "__main__": url = "https://www.zhaopin.com/citymap.html" html = get_html(url) jobs = parse_html(html) for job in jobs: print(job)
上面的代碼中,我們首先導入了requests和BeautifulSoup庫,使用requests庫獲取HTML頁面,然后使用BeautifulSoup庫解析HTML頁面獲取招聘信息。
在解析HTML頁面的過程中,我們使用了find_all()函數和find()函數從HTML頁面中提取出對應的信息,最終將提取到的信息存儲在列表jobs中。
程序的入口是main()函數,在這里我們首先定義URL地址,然后調用get_html()函數獲取HTML頁面,接著調用parse_html()函數解析HTML頁面獲取招聘信息,并最終打印出來。
這里我們只是簡單地演示了如何使用Python爬取智聯招聘網站的招聘信息。在實際應用中,我們需要考慮更多的細節問題,例如請求頻率、并發量等等,才能確保我們的爬蟲程序能夠穩定地工作。
下一篇python 爬取島國