用百度站长平台的robots检测工具
检测了一下我的robots，发现某些已经禁止的目录是允许的如下图的（m文件夹），而且我也没发现哪里书写错误了，搜索某条已经禁止的url发现确实还是被收录了，
哪位大神帮我看一下，是哪里出了问题？
楼上一群人瞎扯什么呢？写法是没错误的，楼主这样验证肯定是显示“不允许”的，除了可能没生效这样，其它的就不清楚了。
还有个问题，为什么我们检验的时候的主域名都不需要填写，只要填写URL后面的内容就行了，你的却全是自己写的？
###
我也遇到过在百度站长平台测试的时候显示允许，这个应该是一个Bug。
另外百度还真不完全遵守的，所以被抓取了也没啥，如果你真心想不抓取你可以加noindex试试
首先明确的告诉你，百度是遵循Robots协议的。
1、你提交的robots协议不是立即生效的，一般需要一周到半个月之间。所以在这未生效之前收录了这些页面也是很正常的。
2、楼主除了用robos协议之外，还得用百度的站长工具中的删除网页等工具提交对禁止收录文件的删除申请。一起来
3、查看下你的网站日志，看看百度蜘蛛每天爬取你robots文件的频率。
其他的不用我多说了。
如果你要屏蔽掉整个目录的抓取，目录后面要加“/”，另外，百度会遵循Robots协议的！
###我的整个网站都给Robots了，结果，首页还是照样收录
###写法错误，如果你要屏蔽掉整个目录的抓取，目录后面要加“/”，另外，百度并不会绝对的遵循Robots协议！
###还没正式生效，过段时间看看就好了！
###Robots有一个生效期，一般生效后是不会抓取收录的。
可能还没有生效，所以出现了屏蔽后还是被收录。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/37911.html
