[导读]:User-agent: * Disallow: * 所有蜘蛛都可以进来,然而什么东西都不让带走。 很任性的Robots ### 这个是全部的还是部分,全部的话就是禁止所有搜索引擎抓取。如果只是部分,好像是除...
User-agent: *
Disallow: *
所有蜘蛛都可以进来,然而什么东西都不让带走。
很任性的Robots
###这个是全部的还是部分,全部的话就是禁止所有搜索引擎抓取。如果只是部分,好像是除了某几个蜘蛛之外的蜘蛛全部禁止
###你的书写有错误。建议直接百度其写法!
###这是在逗搜索引擎玩儿!!!
###允许所有种类搜索引擎蜘蛛爬行,禁止爬行所有页面
###User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符,你可以更换成具体的搜索引擎名称
Disallow:是禁止爬寻的意思,后面可以加上目录之类的
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/46405.html
