首页 > 问答 > 百度的robots写法,这有特殊含义吗?

百度的robots写法,这有特殊含义吗?

[导读]:User-agent: Baiduspider Disallow: /w? Allow: / User-agent: Googlebot Allow: / User-agent: Googlebot-Mobile Allow: / User-agent: MSNBot Allow: / User-agent: Baiduspider-image Allow: / User-agent: YoudaoBot Allow: / User-agent: Sogo...

User-agent: Baiduspider
Disallow: /w?
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: MSNBot
Allow: /

User-agent: Baiduspider-image
Allow: /

User-agent: YoudaoBot
Allow: /

User-agent: Sogou web spider
Allow: /

User-agent: Sogou inst spider
Allow: /

User-agent: Sogou spider2
Allow: /

User-agent: Sogou blog
Allow: /

User-agent: Sogou News Spider
Allow: /

User-agent: Sogou Orion spider
Allow: /

User-agent: JikeSpider
Allow: /

User-agent: Sosospider
Allow: /

User-agent: YYspider
Allow: /

User-agent: PangusoSpider
Allow: /

User-agent: yisouspider
Allow: /

User-agent: EasouSpider
Allow: /

User-agent: *
Disallow: /

全部允许后面跟上一句全部禁止。。。有什么特殊含义吗?
zhidao点baidu点com/robots点txt

你这写得也太复杂了,你如果有限制的话,只写限制的,可看下我站的优选网   

###

这个的意思差不多是指定上面这些搜索引擎收录,其他的搜索引擎禁止收录。
这个是按照前后顺序的。前面允许了的,后面的禁止不会对前面的造成影响。

###

有啦

###

Robots.txt也是有优先级的~表示处上面的搜索引擎之外禁止爬取。

###

这个的意思差不多是指定上面这些搜索引擎收录,其他的搜索引擎禁止收录。
这个是按照前后顺序的。前面允许了的,后面的禁止不会对前面的造成影响。大新闻网

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/72564.html