首页 > 问答 > 百度对robots有适应期?为什么robots禁止了某文件夹,蜘蛛依然爬

百度对robots有适应期?为什么robots禁止了某文件夹,蜘蛛依然爬

[导读]:百度资源平台已经显示不允许。 网站日志里蜘蛛依然爬行。 网站:www.chenifan.cn 应该会有缓冲时间吧!过几天再看看吧 ###### 没有吧,应该不是说禁了马上不爬,慢慢就不会爬了...


百度资源平台已经显示不允许。


网站日志里蜘蛛依然爬行。



网站:www.chenifan.cn


应该会有缓冲时间吧!过几天再看看吧

######

没有吧,应该不是说禁了马上不爬,慢慢就不会爬了

###

正常,不是说禁止他立马就不爬了,要过一段时间他就不会爬了,需要一个缓冲时间,现在百度蜘蛛天天爬我后台

###

是不是没有设置好呢

###

我也是禁止了还继续爬

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/80262.html