首页 > 问答 > 请大神们看看下面的具体情况说明,动态网站robots文件该怎么写

请大神们看看下面的具体情况说明,动态网站robots文件该怎么写

[导读]:我们网站是动态的,在我们的案例栏目,有可以供客户选择条件的标签,这样会有很多的选择结果页面,但是对于这些加入选择标签出来的页面,我是没有办法每个都设置tkd的,...

我们网站是动态的,在我们的案例栏目,有可以供客户选择条件的标签,这样会有很多的选择结果页面,但是对于这些加入选择标签出来的页面,我是没有办法每个都设置tkd的,如果百度收录,那会有很多很多的页面tkd一样,所以我想禁止百度抓取这些通过选择标签,只留下案例栏目最初的页面

案例栏目最初地址:/index.php?g=&m=Cases&a=index

加入选择标签后的可能出现的链接结构:

/index.php?g=&m=Cases&a=index&case_house_type=15

/index.php?g=&m=Cases&a=index&case_house_type=15&case_style=5

/index.php?g=&m=Cases&a=index&case_house_type=15&case_style=5&case_space=44

/index.php?g=&m=Cases&a=index&case_house_type=15&case_style=5&case_space=44&case_acreage=10

QQ截图20170929155430

就是说,我只想留下案例栏目最初的页面:/index.php?g=&m=Cases&a=index ,下面的链接都想禁止,这样我应该怎么写呢?

我找到规律,只要多选择一个标签,链接就会长一点,但都是在案例栏目链接最初的后面,那我可不可以直接在这个地址后面写 * 呢?

Disallow:/index.php?g=&m=Cases&a=index*

这样可以生效吗?

可以的,相当于你的意思是/*,只要包含*前面这段话的,后面不管是什么,都禁止抓取!若不确定,可以在百度站长平台上面Robots栏目测试一下链接,看是否禁止抓取。

北瓜网


本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/61223.html