[导读]:前段在日志里发现一些未知ip,访问网站上不存在的页面,访问量巨大,差不多一天几百万,上千万次的访问量。 刚开始发现的时候没在意,因为我有设置404错误提示页面,但是...
前段在日志里发现一些未知ip,访问网站上不存在的页面,访问量巨大,差不多一天几百万,上千万次的访问量。
刚开始发现的时候没在意,因为我有设置404错误提示页面,但是最近这几天我发现百度蜘蛛也开始抓取这些不存在的页面了,所以就很纳闷,请问有知道怎么回事的吗?这个问题怎么解决?怎样让百度不抓取这些不存在的页面?
正常的路径是这样的(没有_和_后面的数字):
/article/174/869716.html
下图是日志截图,都是访问的不存在的页面,

你这个反馈码是200?
能确定一定以及肯定说没有这么链接的入口么?
检查全站。
Robots里禁一下相关规则。
把抓取量大的,汇总一下,提交死链。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/42508.html
