新站上线,自己新注册的新域名,但是百度蜘蛛疯狂抓取。
[导读]:新站上线,自己新注册的新域名, 这个域名估计去年上一个站长才下线的,所以百度里还有几十个收录 我前几天上线新站后,百度蜘蛛疯狂抓取以前的url,返回404。 本来昨天凌...
新站上线,自己新注册的新域名,
这个域名估计去年上一个站长才下线的,所以百度里还有几十个收录
我前几天上线新站后,百度蜘蛛疯狂抓取以前的url,返回404。
本来昨天凌晨百度收录了我一个页面(站长工具里收录为0),昨天中午后又消失了。
查看了日志,百度蜘蛛访问了robots文件,但是疯狂抓取某一个不存在的文件夹URL
请教这样我是否需要做特殊处理,还是等百度蜘蛛自己判断那个文件夹下的URL不存在而停止抓取
建议
1、Robots屏蔽一下蜘蛛老是抓取的404内容
2、做一个badlink.txt(如:ask.seowhy.com/badlink.txt),提交到百度站长工具

###
如果知道自己网站之前的网址,现在返回404 最好是提交一下死链。
###ErrorDocument 手动给蜘蛛提供返回页面,不需要屏蔽,也不需要做别的操作
###等的话需要一段时间百度才会反映过来,这个看你自己决定吧!
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/35466.html
