題主可能是想知道爬蟲能干什么。這個(gè)問題應(yīng)追溯到服務(wù)器監(jiān)控、數(shù)據(jù)搜索、數(shù)據(jù)采集、大數(shù)據(jù)分析、系統(tǒng)對(duì)接等方面。

一、服務(wù)器監(jiān)控。一般的服務(wù)器監(jiān)控都會(huì)有日志，這種日志可以記錄系統(tǒng)的運(yùn)行狀態(tài)，而爬蟲監(jiān)控則是一種外部監(jiān)控，如訪問某個(gè)關(guān)鍵頁面來判斷當(dāng)前服務(wù)器的運(yùn)行狀態(tài)。這種手段一般用于無法直接監(jiān)控或者臨時(shí)監(jiān)控的服務(wù)器。

二、搜索引擎。爬蟲用于搜索引擎是一個(gè)普遍的爬蟲應(yīng)用，搜索引擎實(shí)際上就是采集網(wǎng)站的概要數(shù)據(jù)并按照各種條件進(jìn)行查詢的算法。這種數(shù)據(jù)采集需要根據(jù)某種通行的采集協(xié)議來進(jìn)行，不能超越規(guī)定的采集邊界。

三、數(shù)據(jù)采集。互聯(lián)網(wǎng)上存在很多數(shù)據(jù)，有時(shí)需要某些專業(yè)數(shù)據(jù)進(jìn)行定時(shí)采集以便分析，比如新聞、圖片、視頻、股票數(shù)據(jù)、天氣數(shù)據(jù)和一些需要監(jiān)控的數(shù)據(jù)等。

四、大數(shù)據(jù)分析。和上面數(shù)據(jù)采集差不多，只是大數(shù)據(jù)分析需要的數(shù)據(jù)采集規(guī)模更大、用途更廣。大數(shù)據(jù)分析是將從網(wǎng)絡(luò)上定向采集到的數(shù)據(jù)按照一定規(guī)則和流程進(jìn)行處理，并運(yùn)用處理結(jié)果進(jìn)行分析預(yù)測(cè)。

四、系統(tǒng)對(duì)接。對(duì)于第三方封閉系統(tǒng)，對(duì)方由于某種原因不能提供數(shù)據(jù)接口，比如技術(shù)原因。這時(shí)要想展示該系統(tǒng)上的數(shù)據(jù)，可以通過定時(shí)定向采集的方式進(jìn)行單向?qū)樱@種對(duì)接一般會(huì)得到雙方的認(rèn)可，并需要特殊的權(quán)限驗(yàn)證。

以上是爬蟲的基本用途，希望能有助于您對(duì)爬蟲的認(rèn)識(shí)。