我们网站是动态的,在我们的案例栏目,有可以供客户选择条件的标签,这样会有很多的选择结果页面,但是对于这些加入选择标签出来的页面,我是没有办法每个都设置tkd的,如果百度收录,那会有很多很多的页面tkd一样,所以我想禁止百度抓取这些通过选择标签,只留下案例栏目最初的页面
案例栏目最初地址:/index.php?g=&m=Cases&a=index
加入选择标签后的可能出现的链接结构:
/index.php?g=&m=Cases&a=index&case_house_type=15
/index.php?g=&m=Cases&a=index&case_house_type=15&case_style=5
/index.php?g=&m=Cases&a=index&case_house_type=15&case_style=5&case_space=44
/index.php?g=&m=Cases&a=index&case_house_type=15&case_style=5&case_space=44&case_acreage=10


就是说,我只想留下案例栏目最初的页面:/index.php?g=&m=Cases&a=index ,下面的链接都想禁止,这样我应该怎么写呢?
我找到规律,只要多选择一个标签,链接就会长一点,但都是在案例栏目链接最初的后面,那我可不可以直接在这个地址后面写 * 呢?
Disallow:/index.php?g=&m=Cases&a=index*
这样可以生效吗?
可以的,相当于你的意思是/*,只要包含*前面这段话的,后面不管是什么,都禁止抓取!若不确定,可以在百度站长平台上面Robots栏目测试一下链接,看是否禁止抓取。
北瓜网
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/61223.html
