[导读]：请问各位大神，Robots文件在哪里如何设置？ 是，Robots是蜘蛛协议，可以禁止蜘蛛抓取某些页面 ### 恩，就是一个大门~ ### 是的，蜘蛛第一读取的是你网站的Robots ### Robots文件在服...
请问各位大神，Robots文件在哪里如何设置？
是，Robots是蜘蛛协议，可以禁止蜘蛛抓取某些页面
###恩，就是一个大门~
###是的，蜘蛛第一读取的是你网站的Robots
Robots文件在服务器的根目录下，你要写好蜘蛛抓取规则就好了
###蜘蛛会首先看你的蜘蛛协议，蜘蛛协议可以写好之后放进服务器根目录下
###Robots是一种协议，各个搜索引擎的爬虫都会遵守，所以首先会访问它
###Robots是第一访问的，放网站根目录下即可，书写格式百度站长工具有详细介绍
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/68701.html
