为什么看到有人把sitemap.xml写进了robots.txt里，作用是什么呢？robots不是禁止蜘蛛抓取的吗

写不写的关系不大，没有多大的差距，只是简单的考虑搜索引擎这是网站地图的路径，但是用处不大。

robots的作用不只是禁止，也可以写允许，把地图文件写进去相当于个指示牌，告诉蜘蛛地图文件的地址，作用并不大。

这个写不写都没关系的 效果不大

额 这个都会写的吧

你要是好好看看你的服务器日志，你会发现蜘蛛进入你的网站爬取的第一个文件就是Robots，所以把网站地图放在里面让蜘蛛尽快爬取网站的连接，是有一定道理的。

等于路牌，告诉蜘蛛这是我网站的地图，来抓吧

一般都写进允许里的呢 所以写不写都一样

写进去可以告诉蜘蛛网站地图地址，Robots可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容