sh.xxx.com.cn/bbs/topic/121498.html?postuid=11192141
sh.xxx.com.cn/bbs/topic/121498.html?postuid=11192148
网站上有很多这样的链接,我现在不想让搜索引擎抓取html后面的信息,我改怎样屏蔽。
我想屏蔽?postuid=11192141这样的链接后缀,我应该在robots.txt里面怎么写,这两种写法哪个正确:
Disallow: /postuid
Disallow: /bbs/topic/.html?postuid=
请大神们帮忙看一下
同意王丹同学的,Disallow: /? 禁止所有引擎抓取网站所有动态页面,我一直在使用这屏蔽获取动态url
###百度搜索帮助中心看到的,编辑了下,以符合您网站的结构。
//第1种
//使用"$"限制访问url,仅允许访问以".html"为后缀的URL。
User-agent: *
Allow: *.html$
Disallow:
//第2种
//禁止访问网站中所有的动态页面
User-agent: *
Disallow: 星号问号星号
都是几年前的评论啊,现在是不是都是大神啊??!
###可以使用通配符:
Disallow: /星号?postuid=星号
这个最精确
或者直接使用:
Disallow: /星号?星号
屏蔽所有动态页面
好像搜问编辑一下星号就消失了……
按照你的思路是:是可以允许抓取的。
allow:: /bbs/topic/*.html
Disallow: /bbs/topic/*.html?postuid= *
这个只是禁止了带有?postuid=的网址,如果带有其他动态后缀的无法屏蔽了。
Disallow:/*? 禁止所有引擎抓取网站所有动态页面
###应该这样写
User-Agent: *
allow: /bbs/topic/.html$
Disallow: /bbs/topic/.html*
User-Agent: *
Disallow: /bbs/topic/.html?postuid=
这是
禁止所有引擎抓取网站bbs目录下的topic目录下的文件名为.html的并且参数以postuid=开头的动态页面
http://tool.seowhy.com/robot 检测用这个
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/46127.html
