[导读]：本人小站在上线之初已经做好ROBOTS.TXT，但是明明在文件里禁止蜘蛛抓取了，可是日志里面百度蜘蛛还是天天到访，这倒底是什么原因，有什么解决办法 @@www.haishihong.com.cn@@ 应该...
本人小站在上线之初已经做好ROBOTS.TXT，但是明明在文件里禁止蜘蛛抓取了，可是日志里面百度蜘蛛还是天天到访，这倒底是什么原因，有什么解决办法
@@www.haishihong.com.cn@@
应该只是爬取了，不会存在收录的
###百度对这个基本是忽略的！
###应该是爬行到了,但是不会收录到数据库吧
###第一：请确定你写的规则是否正确
第二：请核实所谓的百度蜘蛛是否为假冒蜘蛛
我也遇到了这种情况
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/33570.html
