首页 > 问答 > 站长工具平台突然提示robots.txt对网站重要目录封禁,怎么回事?

站长工具平台突然提示robots.txt对网站重要目录封禁,怎么回事?

[导读]:站长工具平台突然提示robots.txt对网站重要目录封禁,怎么回事?网站一直没有改动,最近快照回到2013年5月2日,实质上封禁的都是业务逻辑层和数据访问层 的类文件,网站开发...

站长工具平台突然提示robots.txt对网站重要目录封禁,怎么回事?网站一直没有改动,最近快照回到2013年5月2日,实质上封禁的都是业务逻辑层和数据访问层 的类文件,网站开发结构是类似三层结构的模式开发的 。

这个问题我已经多次遇到了,应该是百度 的问题,你去把 这个 Robots 更新下,位置在 百度更新时间下面 的 更新。

###

我也碰到过这个问题,导致网站根本不收录。
我的处理方式:很简单,就是把Robots删掉,然后等待。
可能的问题是:
1、服务器本身不稳定,导致蜘蛛无法访问,连接有问题,这个你可以问下空间商。
2、百度抽风。
这个可能跟你的robots正确与否关系真的不大,但是我不删掉它就一直这样。删掉后来恢复了,但是疑问依然存在,无法真正的判断是谁的问题?

###

应该是百度的问题,如图正常



###

我这边最近也有很多站有这类信息提示,但Robots 文件没问题 应该是百度问题!

###

百度问题,这个问题之前就有人问过了。你搜下

###

我的站也出现过很多次这样的提示,没管过它。因为Robots.TXT这个文件都是按正常的来写的。

###

如果设置没错:
1)有可能也会因为服务器对于频繁抓取的页面采取了屏蔽措施。

2)有可能百度自身误检测的原因

这些都很难判断,如果是自有服务器可以监控得到这些不正常的数据,并给予解决;

如果确认设置没错,那么在“检测Robots.txt”工具中检测完之后,拉到最底下;

可以看到一个“网站robots.txt在百度的状态”,里面列明了robots的更新时间,这时只需点击“更新”即可了。其它就等着百度自己再去抓取。

###

我的网站也有,发条信息过来说网站重要目录对百度封禁,没去管他,几天过后又说解封了,可能是工具误报吧

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/24124.html