百度不遵守robots,帮看看我写法有误么。
[导读]:Disallow: /*/device Disallow: /device 百度不遵守robots,一大堆不需要收录的页面出来了。 我禁止搜录关于 device 的一切, 写第一个就可以了。 还是2个都要写。 百度到底支不支持https...
Disallow: /*/device
Disallow: /device
百度不遵守robots,一大堆不需要收录的页面出来了。
我禁止搜录关于 device 的一切,
写第一个就可以了。
还是2个都要写。
百度到底支不支持https 的 robots。
Robots 百度站长平台 有工具 某个URL是否禁止抓取的 可以自己去试
第一条应该不包括/test-device-test/这样的URL
总的来说,个人感觉robots确实不是非常管用
如果是这样就可以了
Useragent:Baiduspider
Disallow: /device
useagent没看到?
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/43617.html
