用戶訪問網(wǎng)站上不存在頁面的時候，服務器通常會顯示404頁面。如果沒有給網(wǎng)站設置自定義的404頁面，用戶在瀏覽網(wǎng)頁的時候，就會顯示一個默認的錯誤頁面，這樣的錯誤頁面肯定影響用戶體驗。因此，所有主機提供的自定義404頁面的功能，都應該充分的利用。

不能假設頁面不存在，搜索引擎就不會抓取網(wǎng)址。由于各種原因，網(wǎng)上任何地方都可能出現(xiàn)指向網(wǎng)站的域名卻寫錯目錄或文件名的URL，搜索引擎中的蜘蛛爬蟲會跟蹤URL，訪問不存在的頁面。

404頁面是可以增加用戶對網(wǎng)站的體驗度，但在應用的過程中，有時候沒有注意到對搜索引擎的影響，例如：錯誤的服務器端配置導致返回“404”狀態(tài)碼或自定義404錯誤頁面使用metarefresh導致返回“302”狀態(tài)碼。正確的設置404頁面不僅可以正確的顯示，同時應該返回“404”錯誤代碼。而不是“200”或者“302”。對訪問的用戶而言，狀態(tài)碼無論是“404”還是“200”并沒有任何區(qū)別，但對于搜索引擎來說就非常重要了。

搜索引擎蜘蛛爬蟲在訪問URL頁面而得到“404”狀態(tài)回應的時候，就知道這個URL已經(jīng)失效了。就不再抓取這個頁面了，并且向數(shù)據(jù)中心反饋，將這個頁面從搜索引擎數(shù)據(jù)庫中刪除，當然刪除的過程可能需要很長時間。當搜索引擎得到的狀態(tài)碼是“200”的時候，就會認為該URL是有效的，就會去抓取，并且收錄到索引庫中，這樣的結果會使兩個不同的URL具有完全相同的內容。404頁面會導致出現(xiàn)復制網(wǎng)頁的問題。如果被搜索引擎發(fā)現(xiàn)，輕者降權，重者被K站。所以，不能盲目的使用404頁面，要學會正確的運用404頁面。