首页 > 问答 > 新的刚上线的网站什么时候弄网站地图 和爬虫协议呀 tobots.txt里

新的刚上线的网站什么时候弄网站地图 和爬虫协议呀 tobots.txt里

[导读]:tobots.txt里面是这样写就行了吗 User-agent: * Disallow: 是R O B O T S   下面哪个disallow:就是你不想让搜索引擎抓取的文件   比如disallow:/skin~~~     然后下面再带个Sitemap:www.***/ ### 新站...

tobots.txt里面是这样写就行了吗

User-agent: *
Disallow:

是R O B O T S   下面哪个disallow:就是你不想让搜索引擎抓取的文件   比如disallow:/skin~~~     然后下面再带个Sitemap:www.***/

###

新站上线就应该设置Robots和Sitemap,可以参考我的网站。Sitemap是根据谷歌要求写的,百度通用。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/97529.html