[导读]:现在网站有多个这样的死链,需要写robots文件吗?我不会写,希望有朋友帮忙写下,谢谢各位了。 http://www.abc.com/portal.php http://www.abc.com/portal.php?mod=viewaid=13 http://www.abc.com/articl...
现在网站有多个这样的死链,需要写robots文件吗?我不会写,希望有朋友帮忙写下,谢谢各位了。
http://www.abc.com/portal.php
http://www.abc.com/portal.php?mod=view&aid=13
http://www.abc.com/article-22-1.html
是这样写吗?
Disallow:/portal.php
Disallow:/portal.php?
Disallow:/article-*-1.html$
死链不要用Robots
robots.txt是用来限制搜索引擎蜘蛛抓取的
建议如果有死链 可以到百度站长平台 使用 死链接提交工具
但一定要注意 http 状态码要是 404 才可以
可以使用百度的抓取工具 来测试HTTP状态码
记住只能是404
301 200 302 其他的等等提交之后都不管用!
太多的404可以统计下网址在根目录建立一个 silian.txt 这样的文本
在百度站长工具里使用 死链提交添加你的死链接文本网址
如
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/54462.html