首页 > 问答 > 日志分析里百度蜘蛛爬了很多不是自己网站的目录! 拜求解!

日志分析里百度蜘蛛爬了很多不是自己网站的目录! 拜求解!

[导读]:网站日志分析,发现百度蜘蛛爬了很多不是自己网站的目录,如下图所示:方框的是网站目录,椭圆框的是百度蜘蛛自己抓的目录(非本网站内目录),这到底是什么原因呢?在...

网站日志分析,发现百度蜘蛛爬了很多不是自己网站的目录,如下图所示:方框的是网站目录,椭圆框的是百度蜘蛛自己抓的目录(非本网站内目录),这到底是什么原因呢?在用户状态码和蜘蛛状态码里面多了很多这类目录的404码。需要在robots里面将这些目录禁掉吗?还是作为死链上传给百度,跪求大神解答!!谢谢!



你把这些链接进行排查,如果是自己网站的链接,且存在快照。
那么把链接整理出来,提交死链。如果本身不存在的,只是用户搜索产生的错误链接
那么网站只要做好404页面和404返回码即可,用户搜索什么,这个是没有办法控制的

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/40235.html