首页 > 问答 > 我已经在服务器里面的robots里面禁止蜘蛛爬去模版目录了, 为什

我已经在服务器里面的robots里面禁止蜘蛛爬去模版目录了, 为什

[导读]:我已经在服务器里面的robots里面禁止蜘蛛爬去模版目录了, 为什么蜘蛛还大量抓取呢? 放到根目录的检验方法最简单的就是直接输入 域名/Robots.txt 看看能不能打开。 如果能打...

我已经在服务器里面的robots里面禁止蜘蛛爬去模版目录了, 为什么蜘蛛还大量抓取呢?



放到根目录的检验方法最简单的就是直接输入 域名/Robots.txt 看看能不能打开。
如果能打开就是放到了根目录,不能就说明放错位置了。
可能的原因有1、robots.txt生效需要一定的时间,大约是48小时内。2、蜘蛛有时候不会完全遵循robots.txt协议

###

从你的截图上看你的Robots文件放置的网站不是根目录下。
你到站长平台上核实下robots是否生效。



###

你的Robots文件是放在网站根目录下吗?

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/36893.html