网站一个礼拜的收录没怎么变动动过，偶尔上涨1~2，偶尔下降1~2。

最近查看了7天的蜘蛛日志发现，各个搜索引擎都抓取站内不存在的死链，

1.没当发布新文章URL里面带有文章的标题

2.网站以前存在后来修改后没有了的URL

3.错乱的/错乱目录/错乱文件名的URL

死链已经提交，蜘蛛协议已经屏蔽。

但是每天还是有很多这样的死链被蜘蛛抓取。

大家给点提议和见解吧。

其实很多原因都可能会造成抓取不存在的链接，比如域名之前的一些外链数据、网站程序内部生成的一些路径、改版或者一些历史遗留的原因，或者其他人提交了一些不存在的链接等等都是有可能的。

建议是采用Robots.txt屏蔽掉。