首页 > 问答 > 禁止抓去某些栏目是怎么写的呢??(悬赏3元)

禁止抓去某些栏目是怎么写的呢??(悬赏3元)

[导读]:如果我不想让蜘蛛抓去http://www.xxxxx.com/ask/lists/下面的内容,这样写可以吗?    有没有错呢?   Disallow: http://www.xxxxx.com/ask/lists/ 因为这里面的都是死连接 Disallow: /ask/lists/   ...

如果我不想让蜘蛛抓去http://www.xxxxx.com/ask/lists/下面的内容,这样写可以吗?    有没有错呢?  

Disallow: http://www.xxxxx.com/ask/lists/


因为这里面的都是死连接

Disallow: /ask/lists/   这样就可以了

###

Robots.txt里写Disallow: 就行了

###

 User-agent: *

Disallow: /ask/lists/

放到Robots.txt里边即可。丈哥SEO博客为您回答。

###

Disallow: 

###

Disallow:xxxxxx

###

直接 写目录就行

###

不用带网站名

###

是的,不用写域名地址,直接写目录路径。

###

或者专门找个网站技术也可以,自己不懂的话

###

没必要带网站,直接写目录就行,写完拿工具检测一下是不是禁止了

###

直接写机器人协议就好了

###

楼上全是正解   ~~写在Robots栏目是在网站的FTP根目录下,   不需要你那样的绝对路径,只需要后面的那个相对路径。

###

按照你的意思,写在 robos里就可以了

###

写在 robos里面就可以了

User-agent: Baiduspider

Disallow: ask/lists/

###

可以写成相对路径,但是要路径后面有斜杠和没有斜杠的区别:比如Disallow:/lists/有斜杠是禁止抓取lists整个文件夹,Disallow: /lists没有斜杠意思是凡是路径里面有lists这个关键词的都会被屏蔽。按照你的意思,可以写成

 User-agent: *

Disallow: /ask/lists/

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/82728.html