首页 > 问答 > 百度蜘蛛大量抓取不存在的页面,有遇到同样问题的吗?

百度蜘蛛大量抓取不存在的页面,有遇到同样问题的吗?

[导读]:查看了网站日志,百度蜘蛛大量抓取/news/5605.html这个目录下不存在的页面,但能访问education/5605.html这个页面,这种现象已经很长时间了,反复排查了网站内链和外链,确保没人...

查看了网站日志,百度蜘蛛大量抓取/news/5605.html这个目录下不存在的页面,但能访问education/5605.html这个页面,这种现象已经很长时间了,反复排查了网站内链和外链,确保没人任何入口,这有没有可能是百度蜘蛛抓错目录了,其他搜索引擎没有这种问题。



看下蜘蛛返回码是不是404,404提交百度,找到出现404原因修补下,入口的话,蜘蛛只有进入你网站,就会抓取整站内容,除非你屏蔽!

###

蜘蛛抓取到的,说明肯定是有入口的,自己网站上面没有;
就可能是其他平台存在有外链、建议你把这些链接整理出来,去提交下死链接。
同时网站要做好404页面和404返回码,另外建议你更新下Sitemap,有可能Sitemap里面存在有这些链接。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/42603.html