如题
图如下：

Robots.txt禁止抓取文件搜索引擎将不访问，不抓取；但要注意，被robots稳健禁止抓取的url还可能出现在搜索结果中，只要有导入链接指向这个url，搜索引擎就知道这个url的存在

百度有些时候不太遵循Robots协议。