首页 > 问答 > 百度消息提醒:网站的重要目录对百度进行了封禁

百度消息提醒:网站的重要目录对百度进行了封禁

[导读]:因为用的是自己开发的网站系统,所以比如像后台文件夹、css文件夹、js文件夹,都没有被百度收录的必要,另外也为了减少对网站的抓取降低服务器压力,屏蔽了如下内容 正常...

因为用的是自己开发的网站系统,所以比如像后台文件夹、css文件夹、js文件夹,都没有被百度收录的必要,另外也为了减少对网站的抓取降低服务器压力,屏蔽了如下内容



正常了,百度什么都想吃,只要有东西都想看看,其实他早就抓取了,
我有个三个页面,一直是首页链接最近也收录了。被我屏蔽了也收录。

###

好多网站都是这样,只要你Robots文件设置正确,确认百度蜘蛛能对你想要百度抓取的网站文件能够正常抓取,这个都是没有问题的~~~不要太在意,如果有问题可以新浪微博@百度站长平台

###

我也出现了多次 很纳闷:网站的重要目录对百度进行了封禁,Baiduspider无法抓取这些目录
您可以在Robots工具中查看详情
检测时间:2014-02-25 07:00:00

然后就遇到楼主提问了,我的robots.txt设置如下:
User-agent : *
Disallow : /admin/
Disallow : /cache/
Disallow : /captcha/
Disallow : /include/
Disallow : /install/
Disallow : /templets/

###

这个没问题,我好多站都出现了,一些目录我并不希望他收录,他也会提示我,

###

这个是消息,估计是百度自身的行为,只要检查Robots文件正确,没有出现问题就OK了。别太在意了。

###

你好,其实我发现这应该是百度自身的一个调整,我有一个站1月26也有过类似提示,但是这个站一直没有改动的,怎么突然就给了这个提示呢。除了这个提示,对网站也没发现有多大影响。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/22275.html