理論上來說，你只要網站放到了網絡服務器上，有了公網的IPV4地址，哪怕你設置了robots.txt里邊對所有搜索引擎封鎖抓取，百度照樣會抓取，只不過會在搜索結果摘要上提示由于robots禁止，不現實具體摘要而已，只要有IP地址，是可以反向搜索出該IP底下有多少個網站的，這些技術都非常容易的，何況對于百度這種牛逼的搜索引擎來說想抓取任何網站都是很輕松的事情。