网站申明，主要是屏蔽抓取

有必要！

蜘蛛到访 第一个抓取的就是这个文件，所以说呢，你说重要不重要？

这个文件 无非也就告诉引擎，那些页面 那些栏目 可以抓取 或不抓取。也就等于是展示不展示到百度引擎而已。

所以Robot文件吧，关于我们或者联系我们屏蔽了，其它的目录页权重会上升吗？

问题就是Robot可以集权吗？

Robots.txt一定意义上是必须的，因为它是搜索引擎访问网站查看的第一个“页面”。

我觉得很有必要，先查看网站日志，看看都抓取哪些内容，肯定有一些内容是没有必要抓取的，就写Robots屏蔽他！！！这应该就是最终目的吧、。

最主要的是屏蔽一些不需要被抓取的文件，从而提升爬虫抓取效率。但是对于大网站来说，一般写起来比较难，所以很多都没写。

Robots.txt文件对于网站优化有很大的帮助，提高蜘蛛抓取效率，还能保护网站内部需要保护的信息。在网站上线前，一定要检查robots.txt文件，如果没有及时添加，如果规则写错了，及时调整过来，以免影响网站的收录。