我想屏蔽论坛的个人资料页面，我在日志里面发现了 百度蜘蛛频繁抓取xxx.com/?11 这样的DZ个人资料页面

你的Robots.txt协议 写法不对 全部无效的 看
User-agent: *
Disallow: /？*
Disallow: /api/
Disallow: /data/

Disallow:后边是空格啊然后才是斜杠

只是个协议，协议也可以不遵守，屏蔽了不代表不抓取，就像之前的淘宝。

1、Robots文件写法错的(Disallow: +路径(直接复制写一遍))
2、robots文件生效需要一段时间（可能还没有生效）
3、robots文件是和搜索引擎之间的一个协议，搜索引擎遵守的情况下，才有效。
（百度对于robots文件经常无视，这个你要接受！）

对啊~~~支持一楼，你在网上查查Robots的格式，复制粘贴就好啦

Robots屏蔽后，如果你的首页有外链，百度还会抓取！

用diacuz建的站点。你屏蔽了，百度有时候还是要抓取的。百度有时候并不是你不让他抓它就不抓取了。

Robots的正确写法是：
1、第一个字母要大写，如Disallow
2、Disallow后面的冒号要用英文状态下的冒号
3、冒号后面要有一个空格

1、Robots文件生效需要一段时间（可能还没有生效）
2、robots文件是和搜索引擎之间的一个协议，搜索引擎遵守的情况下，才有效；
（百度对于robots文件经常无视，这个你要接受！）