首页 > 问答 > 关于网站沙盒蜘蛛

关于网站沙盒蜘蛛

[导读]:网站开始被沙盒蜘蛛抓取,今天查看沙盒蜘蛛80 有78个页面是404,这对网站有什么影响,为什么 全部抓取的是404页面。 第一,因为你每个页面都有这个图标,所以抓取的这个图...

网站开始被沙盒蜘蛛抓取,今天查看沙盒蜘蛛80 有78个页面是404,这对网站有什么影响,为什么 全部抓取的是404页面。



第一,因为你每个页面都有这个图标,所以抓取的这个图标就比较多,而且搜索引擎在抓取到404的时候,还是会多次抓取这个链接,然后才会进行删除。建议你加一个图标,要不就将这一句程序删除。
404过多,不合理处理,也对网站没有好处的。因为过多的404会占用太多蜘蛛内存,让太多的蜘蛛重复抓取错误链接,减轻了正常链接的抓取数量。
第二,建议看看网站更新情况怎么样。如果是新站,网站的收录和抓取等就不会很多的。如果是老站,建议更新网站地图,看看网站结构是否有问题。
第三,对网站进行一下外链引导,增加蜘蛛的到来数量。

###

1,因为做了404页面
2.检查下页面程序代码情况
3.描述稍微详细一点,术语规范

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/26932.html