可以使用ForeSpider數據采集系統進行采集,正好新出了一個采集招投標網的教程,希望能夠幫助到你:
l采集網站
【場景描述】采集招標網上的所有的招標數據。
【源網站介紹】
招標網是招標采購領域的招投標資訊和招投標服務平臺,為各級政府采購、招標代理機構、招標企業、供應商、采購業主提供強大的專業招標采購信息查詢和相關招投標服務。
【使用工具】前嗅ForeSpider數據采集系統,免費下載:
ForeSpider免費版本下載地址www.forenose.com/view/forespider/view/download.html
【入口網址】http://www.bidchance.com/channel-userggcharge-1.html
【采集內容】
采集招標網上所有的招標數據。
【采集效果】如下圖所示:
l思路分析
配置思路概覽:
l配置步驟
1.新建采集任務
選擇【采集配置】,點擊任務列表右上方【+】號可新建采集任務,將采集入口地址填寫在【采集地址】框中,【任務名稱】自定義即可,點擊下一步。
2.獲取翻頁鏈接
①使用定位過濾鏈接的方法,將分類鏈接過濾出來。具體步驟如下所示:
②關聯模板,翻頁鏈接關聯自身模板,即模板01。
3.獲取列表鏈接
①在模板01下新建一個鏈接抽取,可修改名稱為列表鏈接,采集預覽,觀察列表鏈接的規律。
②發現列表鏈接的規律為http://www.bidchance.com/info-userggcharge-一串數字.html
使用地址過濾的方法,將列表鏈接過濾,如下圖所示:
4.數據抽取
①新建模板02,在該模板下新建一個數據抽取。
關聯模板
②采集預覽,打開列表鏈接預覽界面,復制任意一條列表鏈接,粘貼在模板02的示例地址處。
③新建一個數據表單,具體步驟和字段屬性如下所示:
④關聯表單
⑤使用字段定位取值,來獲取字段數據。
Title字段:
Pubtime字段:
Pubper字段:
Text字段:
⑥采集預覽,雙擊直至進入最后數據頁,如下圖所示,說明數據抽取成功。
l采集步驟
模板配置完成,采集預覽沒有問題后,可以進行數據采集。
①首先要建立采集數據表:
選擇【數據建表】,點擊【表單列表】中該模板的表單,在【關聯數據表】中選擇【創建】,表名稱自定義,這里命名為【zhaobiao】(注意命名不能用數字和特殊符號),點擊【確定】。創建完成,勾選數據表,并點擊右上角保存按鈕。
②選擇【數據采集】,勾選任務名稱,點擊【開始采集】,則正式開始采集。
③采集中:
④采集結束后,可以在【數據瀏覽】中,選擇數據表查看采集數據,并可以導出數據。
⑤導出的文件打開如下圖所示:
*本教程僅供學習交流,嚴禁用于商業用途!
前嗅簡介
前嗅大數據,國內領先的研發型大數據專家,多年來致力于為大數據技術的研究與開發,自主研發了一整套從數據采集、分析、處理、管理到應用、營銷的大數據產品。前嗅致力于打造國內第一家深度大數據平臺!