[导读]：网站设置的robots对百度蜘蛛不起作用啊，没有遵从robots的抓取，其他蜘蛛360、搜狗则遵守。 不是生效时间的问题，robots已经设置提交一年了。 如果你真的想测底不给蜘蛛抓取，...
网站设置的robots对百度蜘蛛不起作用啊，没有遵从robots的抓取，其他蜘蛛360、搜狗则遵守。
不是生效时间的问题，robots已经设置提交一年了。
如果你真的想测底不给蜘蛛抓取，你还可以用代码实现，给它返回个404，或者401,403
###百度确实经常无视Robots文件，这个是比较无奈的。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/39974.html
