[导读]:我做了好做的死链了,但是总还是会很多的死链产生,这是为什么呢? 应该是蜘蛛抓取了别的不该抓的链接吧 ### 如果死链很多,百度提交一下死链,如果不多,用Robots.txt屏蔽...
我做了好做的死链了,但是总还是会很多的死链产生,这是为什么呢?
应该是蜘蛛抓取了别的不该抓的链接吧
###如果死链很多,百度提交一下死链,如果不多,用Robots.txt屏蔽一下,我的站就是这样
正常~这种死链提交百度就行
###这个很正常,有的是百度蜘蛛,有的可能是模拟UA的攻击测试。你修改Robots.txt用于规范蜘蛛抓取路径,把那些死链目录屏蔽掉。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/78630.html