[导读]：怎么这个robots文件？ 百度一下，很好写的 ### 这个看你哪些页面不要蜘蛛抓取就可以禁止了 ### 我做了一个空的文件，里面啥都没放 ### 把不需要百度爬取的目录写上去 ### User-...
怎么这个robots文件？
百度一下，很好写的
###这个看你哪些页面不要蜘蛛抓取就可以禁止了
###我做了一个空的文件，里面啥都没放
###把不需要百度爬取的目录写上去
###User-agent: *
Disallow: /
大神都是这么写的 你试试
百度有教程，最好还是看下
###我刚写的 做个参考吧
###不想让抓取哪个，就把哪个目录写进去，百度查示例
###写一些禁止访问的目录就完事了
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/100800.html
