[导读]:本网站(www.mingluba.com)之前收录很稳定,每天发送20几篇基本都收录,最近时间由于增加了六七个内容板块,收录一天比一天少,到目前为止开始不收录了。查看网站日志每天都...
本网站(www.mingluba.com)之前收录很稳定,每天发送20几篇基本都收录,最近时间由于增加了六七个内容板块,收录一天比一天少,到目前为止开始不收录了。查看网站日志每天都有蜘蛛访问网站,不知是否robots文件有问题?请求朋友们帮我诊断一下再次感谢!

这个是增加的资讯页面如下:

这个是日志蜘蛛来访页面如下:这个是今天的日志。

这个是昨天的日志,如下图:


为什么蜘蛛老是喜欢抓取我网站打不开的图片链接呢,如何禁止呢?请求大师们帮我诊断下,谢了。
正常的,你多了几个板块,首页就是有调整了,有调整百度自然会有一个重新抓取,如果改动打的haul相当于改版,所以说慢慢会回复过来的
###其实没必要禁止,只要你把404错误页面做好就行了,
###同上
###没有问题。可能是你网站更新的内容有问题。
还有就是你添加板块,就相当于网站重新抓取了,再次抓取没有第一次收录的快,也是很正常的。
建议把网站要添加的,一次性添加完,不要动不动就改。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/49823.html
