[导读]：robots文档如何设置该屏蔽哪些文件？这些根目录下的文件都是实现什么功能？哪些该屏蔽？哪些不能屏蔽？ 不想让蜘蛛抓取的都可以屏蔽，比如后台登陆地址，低质量或者无内...
robots文档如何设置该屏蔽哪些文件？这些根目录下的文件都是实现什么功能？哪些该屏蔽？哪些不能屏蔽？
不想让蜘蛛抓取的都可以屏蔽，比如后台登陆地址，低质量或者无内容的页面，网站做了伪静态后动态的页面等等。
###你问的这么多，不如自己去百度站长平台看Robots 使用文档说明了
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/35848.html
