[导读]:如果我不想让蜘蛛抓去http://www.xxxxx.com/ask/lists/下面的内容,这样写可以吗? 有没有错呢? Disallow: http://www.xxxxx.com/ask/lists/ 因为这里面的都是死连接 Disallow: /ask/lists/ ...
如果我不想让蜘蛛抓去http://www.xxxxx.com/ask/lists/下面的内容,这样写可以吗? 有没有错呢?
Disallow: http://www.xxxxx.com/ask/lists/
因为这里面的都是死连接
Disallow: /ask/lists/ 这样就可以了
###Robots.txt里写Disallow: 就行了
User-agent: *
Disallow: /ask/lists/
放到Robots.txt里边即可。丈哥SEO博客为您回答。
###Disallow:
###Disallow:xxxxxx
###直接 写目录就行
###不用带网站名
是的,不用写域名地址,直接写目录路径。
###或者专门找个网站技术也可以,自己不懂的话
###没必要带网站,直接写目录就行,写完拿工具检测一下是不是禁止了
###直接写机器人协议就好了
###楼上全是正解 ~~写在Robots栏目是在网站的FTP根目录下, 不需要你那样的绝对路径,只需要后面的那个相对路径。
###按照你的意思,写在 robos里就可以了
###写在 robos里面就可以了
User-agent: Baiduspider
Disallow: ask/lists/
可以写成相对路径,但是要路径后面有斜杠和没有斜杠的区别:比如Disallow:/lists/有斜杠是禁止抓取lists整个文件夹,Disallow: /lists没有斜杠意思是凡是路径里面有lists这个关键词的都会被屏蔽。按照你的意思,可以写成
User-agent: *
Disallow: /ask/lists/
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/82728.html