robots在网站中有什么作用

Robots.txt文件是网站与搜索引擎蜘蛛爬虫之间的一份协议，用txt文本格式告诉蜘蛛爬虫网站有哪些页面可以被抓取，哪些页面不可以抓取的权限。

正常搜索引擎访问一个站点的时候，首先会先看站点有没有robots.txt文件，如果没有则蜘蛛爬虫会抓取网站上的所有数据；如果有蜘蛛爬虫会根据robots.txt文件内容来确定自己能够抓取访问的文件有哪些。

如果运用好robots.txt文件对于SEO优化来说也是作用挺大的。

爬行 啊

Robots协议就是爬虫协议，告诉搜索引擎哪些是能够抓取的，哪些不能抓取的

跟蜘蛛的一个协议 告诉蜘蛛该抓去哪些 不该抓取哪些

这个叫蜘蛛协议，可以规定蜘蛛访问你站点的哪些页面

告诉蜘蛛哪些内容可以爬取，哪些不能爬取

robots文件 是百度蜘蛛进来 抓取的第一个文件  在这里知道可以抓取哪些文件 那个文件不可以抓取

蜘蛛进来第一个抓取的就是Robots（还是Sitemap忘了），如果不做robots，蜘蛛会抓取很多后台数据，甚至后台路径，之前有个站没做robots，然后收录了后台路径

相当于告诉爬虫：该网站哪些内容可以抓爬，哪些内容不可以抓爬

通俗一点讲：Robots是爬虫抓取，蜘蛛不抓取何来的收录，不收录何来的排名，懂？