是屏蔽访问路径，和禁止指定目录抓取，不让别人看到，禁止目录？nofollow还是robots，这两个不清楚是哪一个禁止的了？

是给蜘蛛看的

只是屏蔽蜘蛛，不会屏蔽访问路径的

如果你哪些文件不想要蜘蛛爬取抓取就用禁止

屏蔽蜘蛛抓取的

屏蔽和允许，相当于路标，此路可通行此路不通就这样

如果你有不想被蜘蛛抓取到的页面，也可以在Robots里面屏蔽掉的

可以告诉蜘蛛哪些页面不抓取

关于Robots文件，robots.txt文件是给各个搜索引擎的蜘蛛看的，蜘蛛在抓取你的网站之前第一个抓取的就是robots.txt文件，查看是网站否允许抓取，查看网站中哪些文件允许抓取，哪些文件不允许抓取。

是给蜘蛛看的

是引导蜘蛛进你网站的，告诉蜘蛛抓取什么路径，什么路径不抓取，就这样

robots是给蜘蛛看的哦