首页 > 问答 > 死链需要写robots吗

死链需要写robots吗

[导读]:现在网站有多个这样的死链,需要写robots文件吗?我不会写,希望有朋友帮忙写下,谢谢各位了。 http://www.abc.com/portal.php http://www.abc.com/portal.php?mod=viewaid=13 http://www.abc.com/articl...

现在网站有多个这样的死链,需要写robots文件吗?我不会写,希望有朋友帮忙写下,谢谢各位了。

http://www.abc.com/portal.php

http://www.abc.com/portal.php?mod=view&aid=13

http://www.abc.com/article-22-1.html

是这样写吗?

Disallow:/portal.php

Disallow:/portal.php?

Disallow:/article-*-1.html$

死链不要用Robots

robots.txt是用来限制搜索引擎蜘蛛抓取的

建议如果有死链 可以到百度站长平台 使用 死链接提交工具

但一定要注意 http 状态码要是 404 才可以

可以使用百度的抓取工具 来测试HTTP状态码

记住只能是404   

301  200 302 其他的等等提交之后都不管用!

太多的404可以统计下网址在根目录建立一个 silian.txt 这样的文本

在百度站长工具里使用 死链提交添加你的死链接文本网址

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/54462.html