[导读]：http://www.ayztsj.com [?] 我也想知道，这个文件怎么添加，听说这个文件可以帮助网站收录。 ### User-agent: *（可以理解为针对某一个搜索引擎爬虫，也可以是针对所有遵守Robots协议的...
http://www.ayztsj.com[?]
我也想知道，这个文件怎么添加，听说这个文件可以帮助网站收录。
###User-agent: *（可以理解为针对某一个搜索引擎爬虫，也可以是针对所有遵守Robots协议的爬虫，*代表所有）
Disallow:/ (禁止爬虫抓取的内容你可以根据文件结构自定义，/代表根目录，如Disallow:/a/就代表网站根目录下a文件内容不允许被抓取 )
Allow: （建议访问的文件，一般不用）
"*"和"$"通配符，用于匹配模糊性的url
你可以根据需要自行定义
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/75616.html
