欧美一区二区三区,国内熟女精品熟女A片视频小说,日本av网,小鲜肉男男GAY做受XXX网站

如何采集招投標類網站數據?

李中冰2年前18瀏覽0評論

可以使用ForeSpider數據采集系統進行采集,正好新出了一個采集招投標網的教程,希望能夠幫助到你:

l采集網站

【場景描述】采集招標網上的所有的招標數據。

【源網站介紹】

招標網是招標采購領域的招投標資訊和招投標服務平臺,為各級政府采購、招標代理機構、招標企業、供應商、采購業主提供強大的專業招標采購信息查詢和相關招投標服務。

【使用工具】前嗅ForeSpider數據采集系統,免費下載:

ForeSpider免費版本下載地址www.forenose.com/view/forespider/view/download.html

【入口網址】http://www.bidchance.com/channel-userggcharge-1.html

【采集內容】

采集招標網上所有的招標數據。

【采集效果】如下圖所示:

l思路分析

配置思路概覽:

l配置步驟

1.新建采集任務

選擇【采集配置】,點擊任務列表右上方【+】號可新建采集任務,將采集入口地址填寫在【采集地址】框中,【任務名稱】自定義即可,點擊下一步。

2.獲取翻頁鏈接

①使用定位過濾鏈接的方法,將分類鏈接過濾出來。具體步驟如下所示:

②關聯模板,翻頁鏈接關聯自身模板,即模板01。

3.獲取列表鏈接

①在模板01下新建一個鏈接抽取,可修改名稱為列表鏈接,采集預覽,觀察列表鏈接的規律。

②發現列表鏈接的規律為http://www.bidchance.com/info-userggcharge-一串數字.html

使用地址過濾的方法,將列表鏈接過濾,如下圖所示:

4.數據抽取

①新建模板02,在該模板下新建一個數據抽取。

關聯模板

②采集預覽,打開列表鏈接預覽界面,復制任意一條列表鏈接,粘貼在模板02的示例地址處。

③新建一個數據表單,具體步驟和字段屬性如下所示:

④關聯表單

⑤使用字段定位取值,來獲取字段數據。

Title字段:

Pubtime字段:

Pubper字段:

Text字段:

⑥采集預覽,雙擊直至進入最后數據頁,如下圖所示,說明數據抽取成功。

l采集步驟

模板配置完成,采集預覽沒有問題后,可以進行數據采集。

①首先要建立采集數據表:

選擇【數據建表】,點擊【表單列表】中該模板的表單,在【關聯數據表】中選擇【創建】,表名稱自定義,這里命名為【zhaobiao】(注意命名不能用數字和特殊符號),點擊【確定】。創建完成,勾選數據表,并點擊右上角保存按鈕。

②選擇【數據采集】,勾選任務名稱,點擊【開始采集】,則正式開始采集。

③采集中:

④采集結束后,可以在【數據瀏覽】中,選擇數據表查看采集數據,并可以導出數據。

⑤導出的文件打開如下圖所示:

*本教程僅供學習交流,嚴禁用于商業用途!

前嗅簡介

前嗅大數據,國內領先的研發型大數據專家,多年來致力于為大數據技術的研究與開發,自主研發了一整套從數據采集、分析、處理、管理到應用、營銷的大數據產品。前嗅致力于打造國內第一家深度大數據平臺!