首页 > 问答 > Robots撰写蜘蛛抓取问题

Robots撰写蜘蛛抓取问题

[导读]:User-agent: * Disallow: /0556/ Disallow: /0915/ Disallow: /0412/ ... 这样写的话,蜘蛛还会不会抓取 www.xxx.com/0556  www.xxx.com/0915  ... 这个二级目录页面 你看看百度官方给出的这个说明就可以...

User-agent: *
Disallow: /0556/
Disallow: /0915/
Disallow: /0412/
...

这样写的话,蜘蛛还会不会抓取
www.xxx.com/0556 
www.xxx.com/0915 
...

这个二级目录页面

你看看百度官方给出的这个说明就可以了。
链接为:也就是说非这个目录下面的内容还是会被抓取的。

###

彻彻底底的蒙圈了,我想让她收录/0556 这个页面 但是不收录0556下面的 这个应该咋写??

这样写就OK了
User-agent: *
Allow: /0556
Disallow: /0556/

说实在的你的表达真有点让人晕!

###

彻彻底底的蒙圈了,我想让她收录/0556 这个页面 但是不收录0556下面的 这个应该咋写??


Allow: /0556/

###

你这样写的结果还是一样,你加一条allow 在disallow之前,放置你需要让百度抓取的页面,可以达到,Robots是从上而下的,第一条匹配规则为准

###

Disallow: /0556/
Disallow: /0915/
Disallow: /0412/
意思是;不允许抓取/0556/、/0915/、/0412/
这三个目录下面的任何文章或产品

###

我看到大家都给你指导,不过你好像还是很纠结。

他们的意思是说你第一种写法就是对的。

###

会的,举例:Disallow: /0556/你这个只是禁止0556这个文件夹以及该文件夹下面的url;

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/27579.html