[导读]:例如: www.域名.com/123.html(正常链接) www.域名.com/123.html?bd-ya-9329 www.域名.com/123.html?bd-ya-10329 www.域名.com/123.html?bd-ya-1529 都被收录。这种情况怎么解决 不想禁止抓取全站动态页面...
例如:
www.域名.com/123.html(正常链接)
www.域名.com/123.html?bd-ya-9329
www.域名.com/123.html?bd-ya-10329
www.域名.com/123.html?bd-ya-1529
都被收录。这种情况怎么解决
不想禁止抓取全站动态页面(主要是tag.php的动态页面)
但想静止抓取html?和/?的页面
该如何设置robots协议
要么把带问号的301跳转到到不带问号的,要么直接Robots禁止抓取带?的链接。

###
Disallow: /.html?
Disallow: /?*
Allow: /tag*
担心tag被屏蔽就加最后这句,百度站长工具现在可以精确的测出是否有效
Robots去禁止。这些其实也无所谓。不要那么可以的去做这些。SEO就是简单化。随意化。
关键是框架,内容。外链
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/43532.html
