在互联网的时代里，我们最主要的工作就是网站的建设还有优化了，可以说建设是第一步，而优化，则是需要时时做的事情，那在网站优化当中，网站的设计情况是怎么样的呢，就是说如果说你的网站用的是robots.txt文件的话，应该要怎么样进行优化呢，这个问题要是你想要了解的话，我们就好好来看看下面的文章。
 
     现在应该还是有不少人在用这个文件的，但是我们要知道如果说你用的是这个文件的话，那网站百度蜘蛛是不会进行爬取的，所以说这个时候要是你有这个方面的设置，就需要及时的来删除的。     而这里我们需要的一个知识点就是obots.txt文件中重要的规则应在.htaccess文件就是分布式配置文件或是IIS服务器就是互联网信息服务当中来进行设置来引导百度爬虫爬取。     以上就是我们所说的网站优化当中的一些网站的设计情况，我们一看就会明白是不是你的网站也有这样的情况的话，要是有这样的一个情况的存在，你也就应该知道要怎么解决了。上面的情况是非常的多见的，所以说大家是有必要来一起学习一下的。