您好！

不是一些網站不會屏蔽搜索引擎的爬蟲，而是絕大部分網站都不會屏蔽的。除非你是特定行業，像淘寶就屏蔽了搜索引擎抓取內頁，這個也很好理解，淘寶如果不屏蔽的話，就會造成商家的店鋪以及商品被抓取，那么商家就會去做百度競價，而不會做淘寶聯盟的推廣，這樣淘寶豈不是得不償失？

一般的網站都不屏蔽搜索引擎的抓取，主要是因為需要搜索引擎帶來流量呀！！！！