[导读]：分析网站日志发现百度蜘蛛只抓取了小部分页面，每个目录下抓个5.6个页面就不爬了，蜘蛛状态码还有好多400状态码，占了百分之六十几，每天跟新的文章也不收录，这是为什么...
分析网站日志发现百度蜘蛛只抓取了小部分页面，每个目录下抓个5.6个页面就不爬了，蜘蛛状态码还有好多400状态码，占了百分之六十几，每天跟新的文章也不收录，这是为什么
400状态码应该是服务器的问题，建议检查一下服务器的情况。
做好网站地图，网站的内部链接有利于蜘蛛的爬行和抓取。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/36967.html
