首页 > 问答 > 网站的百度蜘蛛获取,老是抓取到网站都不知道哪里的死链?

网站的百度蜘蛛获取,老是抓取到网站都不知道哪里的死链?

[导读]:我做了好做的死链了,但是总还是会很多的死链产生,这是为什么呢? 应该是蜘蛛抓取了别的不该抓的链接吧 ### 如果死链很多,百度提交一下死链,如果不多,用Robots.txt屏蔽...

我做了好做的死链了,但是总还是会很多的死链产生,这是为什么呢?

应该是蜘蛛抓取了别的不该抓的链接吧

###

如果死链很多,百度提交一下死链,如果不多,用Robots.txt屏蔽一下,我的站就是这样

###

正常~这种死链提交百度就行

###

这个很正常,有的是百度蜘蛛,有的可能是模拟UA的攻击测试。你修改Robots.txt用于规范蜘蛛抓取路径,把那些死链目录屏蔽掉。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/78630.html