[导读]:允许所有搜索引擎抓取 User-agent: * 这种写法不行吗,百度提示 “您好,由于您设置了对百度的封禁,请解除对百度的封禁。感谢您对百度的关注与支持。” 那正确的写法是这...
允许所有搜索引擎抓取
User-agent: * 这种写法不行吗,百度提示 “您好,由于您设置了对百度的封禁,请解除对百度的封禁。感谢您对百度的关注与支持。”
那正确的写法是这样吗?
User-Agent: *
Allow: /
其实直接把这个文件删了也可以好像
###如果你不懂的怎么写可以直接放一个空白Robots.txt文件
###禁止目录访问可以全部禁止,但允许不行,只能允许非私密性文件。比如后台登陆之类的,就不能允许
###我都从来不设置的,设置的反而会出错,直接删掉这个文本就好了
###如果你不是要去设置一些规则,比如禁止某些目录或者添加Sitemap这些的话可以不用这个文件
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/50415.html