首页 > 问答 > 网站robots里面Disallow: / 的语法是屏蔽抓取吗?

网站robots里面Disallow: / 的语法是屏蔽抓取吗?

[导读]:User-agent: * Disallow: / 网站的Robots这样写,是禁止所有的搜索引擎收录,也包括百度么? 是的 禁止所有的这样写 User-agent:* Disallow:/ 允许所有的这样写 User-agent:* Allow:/...

User-agent: *

Disallow: /
网站的Robots这样写,是禁止所有的搜索引擎收录,也包括百度么?

是的
禁止所有的这样写
User-agent:*
Disallow:/
允许所有的这样写
User-agent:*
Allow:/

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/38294.html