首页 > 问答 > 新站上线,自己新注册的新域名,但是百度蜘蛛疯狂抓取。

新站上线,自己新注册的新域名,但是百度蜘蛛疯狂抓取。

[导读]:新站上线,自己新注册的新域名, 这个域名估计去年上一个站长才下线的,所以百度里还有几十个收录 我前几天上线新站后,百度蜘蛛疯狂抓取以前的url,返回404。 本来昨天凌...

新站上线,自己新注册的新域名,

这个域名估计去年上一个站长才下线的,所以百度里还有几十个收录

我前几天上线新站后,百度蜘蛛疯狂抓取以前的url,返回404。

本来昨天凌晨百度收录了我一个页面(站长工具里收录为0),昨天中午后又消失了。

查看了日志,百度蜘蛛访问了robots文件,但是疯狂抓取某一个不存在的文件夹URL

请教这样我是否需要做特殊处理,还是等百度蜘蛛自己判断那个文件夹下的URL不存在而停止抓取

建议
1、Robots屏蔽一下蜘蛛老是抓取的404内容
2、做一个badlink.txt(如:ask.seowhy.com/badlink.txt),提交到百度站长工具



###

如果知道自己网站之前的网址,现在返回404 最好是提交一下死链。

###

ErrorDocument 手动给蜘蛛提供返回页面,不需要屏蔽,也不需要做别的操作

###

等的话需要一段时间百度才会反映过来,这个看你自己决定吧!

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/35466.html