首页 > 问答 > 百度不遵守robots,帮看看我写法有误么。

百度不遵守robots,帮看看我写法有误么。

[导读]:Disallow: /*/device Disallow: /device 百度不遵守robots,一大堆不需要收录的页面出来了。 我禁止搜录关于 device 的一切, 写第一个就可以了。 还是2个都要写。 百度到底支不支持https...

Disallow: /*/device
Disallow: /device

百度不遵守robots,一大堆不需要收录的页面出来了。
我禁止搜录关于 device 的一切,
写第一个就可以了。
还是2个都要写。
百度到底支不支持https 的 robots。

Robots 百度站长平台 有工具 某个URL是否禁止抓取的 可以自己去试
第一条应该不包括/test-device-test/这样的URL

总的来说,个人感觉robots确实不是非常管用

###

如果是这样就可以了
Useragent:Baiduspider
Disallow: /device

###

useagent没看到?

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/43617.html