蜘蛛爬行策略有哪些？

1、深度優(yōu)先（策略）：一直往前爬，直到?jīng)]有鏈接，再返回第一層爬向下一個(gè)入口

2、廣度優(yōu)先（策略）:先把這一層所有入口爬完，再爬下一層。

3、吸引蜘蛛：1）搜索引擎認(rèn)為重要的頁面爬行深度高，會(huì)有更多頁面被收錄 2）頁面更新度，有規(guī)律3）、導(dǎo)入鏈接數(shù)量0（導(dǎo)入到自己網(wǎng)站頁面的鏈接）4）、與首頁點(diǎn)擊距離5）、c結(jié)構(gòu)(鏈接比較好)4、地址庫：為了避免重復(fù)查詢或抓取網(wǎng)址，搜索引擎會(huì)建立一個(gè)地址庫記錄已經(jīng)被發(fā)現(xiàn)、但還沒被抓取的頁面，以及被抓取的頁面。1）來源、人工錄入的種子網(wǎng)站。2）、蜘蛛抓取頁面后，從HTML中解析出新的鏈接URL，與地址庫中的數(shù)據(jù)庫相比，如果是地址庫中沒有的網(wǎng)址，就存入待訪問的的地址庫。3）、站長通過搜索引擎頁面提交表格提交進(jìn)來的網(wǎng)址4）、站長通過XML網(wǎng)站地圖、站長平臺(tái)提交的網(wǎng)址