首页 > 问答 > robots.txt规则冲突的写法问题

robots.txt规则冲突的写法问题

[导读]:网站是织梦的 http://www.x.com/tags.php?/%D4%BC%C9%AA%B7%F2%A1%A4%BF%B5%C0%AD%B5%C2/ 目的: 1.允许包含tags.php? 的网址被引擎索引收录. 2. 禁止所有网址中包含?的网址被引擎索引收录. 这两点...

网站是织梦的

http://www.x.com/tags.php?/%D4%BC%C9%AA%B7%F2%A1%A4%BF%B5%C0%AD%B5%C2/

目的:
1.允许包含tags.php? 的网址被引擎索引收录.
2. 禁止所有网址中包含?的网址被引擎索引收录.

这两点有冲突.如何来写这个规则呢.
请前辈指教. 谢谢.

如你所示例的:

Disallow: /星号问号星号
Allow: /

###

User-agent: *
Allow: / 
Disallow: /?
把想被索引的写在前面,这样就搜索引擎在抓取的时候就会屏蔽除:/之外的其他含?的网址。做完记得在百度站长平台上测试是否生效!

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/42330.html