首页 > 问答 > robots如何屏蔽动态链接?

robots如何屏蔽动态链接?

[导读]:sh.xxx.com.cn/bbs/topic/121498.html?postuid=11192141 sh.xxx.com.cn/bbs/topic/121498.html?postuid=11192148 网站上有很多这样的链接,我现在不想让搜索引擎抓取html后面的信息,我改怎样屏蔽。 我想屏蔽...

sh.xxx.com.cn/bbs/topic/121498.html?postuid=11192141
sh.xxx.com.cn/bbs/topic/121498.html?postuid=11192148

网站上有很多这样的链接,我现在不想让搜索引擎抓取html后面的信息,我改怎样屏蔽。
我想屏蔽?postuid=11192141这样的链接后缀,我应该在robots.txt里面怎么写,这两种写法哪个正确:

Disallow: /postuid

Disallow: /bbs/topic/.html?postuid=

请大神们帮忙看一下

同意王丹同学的,Disallow: /? 禁止所有引擎抓取网站所有动态页面,我一直在使用这屏蔽获取动态url

###

百度搜索帮助中心看到的,编辑了下,以符合您网站的结构。

//第1种
//使用"$"限制访问url,仅允许访问以".html"为后缀的URL。
User-agent: *
Allow: *.html$
Disallow:
//第2种
//禁止访问网站中所有的动态页面
User-agent: *
Disallow: 星号问号星号

###

都是几年前的评论啊,现在是不是都是大神啊??!

###

可以使用通配符:
Disallow: /星号?postuid=星号

这个最精确
或者直接使用:
Disallow: /星号?星号
屏蔽所有动态页面

好像搜问编辑一下星号就消失了……

###

按照你的思路是:是可以允许抓取的。

allow:: /bbs/topic/*.html

Disallow: /bbs/topic/*.html?postuid= *

这个只是禁止了带有?postuid=的网址,如果带有其他动态后缀的无法屏蔽了。

###

Disallow:/*? 禁止所有引擎抓取网站所有动态页面

###

应该这样写
User-Agent: *
allow: /bbs/topic/.html$
Disallow: /bbs/topic/
.html*

###

User-Agent: *
Disallow: /bbs/topic/.html?postuid=

这是
禁止所有引擎抓取网站bbs目录下的topic目录下的文件名为.html的并且参数以postuid=开头的动态页面

http://tool.seowhy.com/robot 检测用这个

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/46127.html