首页 > 问答 > 百度蜘蛛老抓robots已封禁内容,投诉不答复怎么办?

百度蜘蛛老抓robots已封禁内容,投诉不答复怎么办?

[导读]:百度蜘蛛老抓robots已封禁内容,投诉不答复怎么办? 查看日志,百度蜘蛛根本没爬过robots.txt,一些封禁的内容和目录。蜘蛛每天都大量的爬,在百度站长平台投诉多次也没有答...

百度蜘蛛老抓robots已封禁内容,投诉不答复怎么办?
查看日志,百度蜘蛛根本没爬过robots.txt,一些封禁的内容和目录。蜘蛛每天都大量的爬,在百度站长平台投诉多次也没有答复,怎么办?

1、去百度站长平台验证网站,看下百度蜘蛛生效的Robots文件是不是你网站设置最新的robots.txt文件
2、蜘蛛爬行关系不大,只要没有抓取和建立索引就好。

###

我的也是。一天来两百次,抓JS和css一百多次,放css和js的目录还在Robots里面封禁了

###

百度一般不遵守Robots协议,所以你可以尝试投诉百度快照。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/36746.html