网站Robots.txt文件，是网站与搜索引擎交流的通用协议，通过Robots协议的设置告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取：一方面可以做网站安全的防护，更重要的是用来做优化，减少无效页面的收录，提升站点的排名效果。
但是在实际的操作中，绝大多数的网站，在其撰写上都存在或多或少的欠缺，甚至由于技术性的错误撰写，还会导致网站降权、不收录、被K等一系列问题的出现。对于这一点，在对客户的SEO诊断过程中，会经常遇到，可以算是很多站点的通病。

肯定有的，具体看网站链接规范情况。蜘蛛抓取不规范的话，特别需要用到Robots.txt文件。