首页 > 问答 > 关于robots.txt屏蔽的问题

关于robots.txt屏蔽的问题

[导读]:如果我设置屏蔽一种URL如下: Disallow: /c-1-0-0-0- . . . . . . . . . . . .html 这样设置能否生效? 不会。 User-agent: * Disallow: /c-1-0-0-0-*html 这种情况可以生效 ### 用百度站长平台抓取诊断抓...

如果我设置屏蔽一种URL如下:

Disallow: /c-1-0-0-0-............html

这样设置能否生效?

不会。
User-agent: *
Disallow: /c-1-0-0-0-*html
这种情况可以生效

###

用百度站长平台抓取诊断抓取一下试试

###

感觉可能性不大

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/37764.html