[导读]:举例:文章页面URL: 开始: http://www.****.com/10000/ 结束:http://www.****.com/30000/ 这20000个页面由于某种原因,被蜘蛛爬取,返回404.(网站当然做了404页面了)。 后期,网站文章更新...
举例:文章页面URL:
开始: http://www.****.com/10000/
结束:http://www.****.com/30000/
这20000个页面由于某种原因,被蜘蛛爬取,返回404.(网站当然做了404页面了)。
后期,网站文章更新到了http://www.****.com/10000/ ,也就是现在http://www.****.com/10000/到http://www.****.com/30000/已经有实质性的内容了,已经返回200.
那么以前蜘蛛爬取的是404,那现在是200,那这些页面还会被收录吗?
----------------------------------------
当蜘蛛判断这个页面是404后,那蜘蛛还会来爬取这个404页面吗?
蜘蛛判断url状态码为404,如果页面有页面,返回200码,蜘蛛会观察一段时间,保证它(蜘蛛)接下来几次访问都返回200码,蜘蛛就会对该页面进行抓取、建库、最后放出收录,希望对你有帮助。(本人站在蜘蛛的角度回答你的问题)
###可以的。
你现在通过Sitemap提交下。
404只是一时的,不会永久记录。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/35969.html