一些站长和一些CMS都会在 robots.txt 上对搜索引擎做协议，屏蔽抓取后台功能文件夹或某些页面，这样除了能让搜索引擎看到外，普通访客同样可以看到。很容易被有心人发现后台地址，也比较能有针对性的对网站进行攻击或者东手脚。

所以，我个人从来都不会在 robots.txt 上面添加后台地址，大家怎么看？

这个情况确实存在。
也是因为这个考虑，我们在屏蔽一些保密性路径是，故意不把路径写完整。
比如要屏蔽一个目录/ziliao/
我们会在Robots.txt 里屏蔽 /zilia
这样起到了屏蔽 /ziliao/ 的作用，同时不被公开保密路径。
当然，注意你的网站上，没有其他/zilia 为前缀的路径地址。

如果是生成静态页面的话，我都是直接屏蔽以asp PHP结尾的。