[导读]:大概从5.17日开始的,百度蜘蛛爬取量从每天两千左右,一下子涨到了十五万,不得以在百度站长后台,开启了限制。 看了下日志,爬的连接都是网址后面加了一堆乱码,如我的...
大概从5.17日开始的,百度蜘蛛爬取量从每天两千左右,一下子涨到了十五万,不得以在百度站长后台,开启了限制。
看了下日志,爬的连接都是网址后面加了一堆乱码,如我的站是www.abc.com的话,则他爬的都是www.abc.com/?dsd21这类的动态地址,dsd21会自动是其他字符,这些网址虽然能访问,但是没效果。
正常的文章页,以前都是秒收,现在好几天没收录了,不知道是什么原因影响的。
没法在robots里面禁止,因为文章页没做伪静态,文章页的路径跟百度蜘蛛乱爬的页面比较相像。
大家有没有遇到百度蜘蛛乱爬的现象?
我也遇到这样的问题,请问如何解决,网址是
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/41347.html
