Disallow：/data/ （代表着禁止蜘蛛抓取data目录后所有的页面）

Disallow：/data （代表着data文件后边的网页被屏蔽）

假设我的www.123.com       我不希望收录www.123.com/data/abc/xxx.html    中/data/目录下所有的网页    因为/data/是网址目录，不是网站文件目录

那么我在robots。txt里面应该写那个

顺便能解释一下，上面那2个有什么区别吗？

不要理解错了  搜索引擎也是和用户一样，访问的是html网页，而不是根据你网站程序的路径，去访问这些文件

so,Robots.txt其实是针对URL而言的，这个问题其实 百度站长平台提供了有更详细的答案。

并且站长工具的robots.txt检测工具也完全能够帮助你写出正确的robots.txt

Disallow：/data/   和Disallow：/data  都能够匹配到你问题的中URL   

区别就是，后者还会匹配到  

这里我想问下，如果不是文件目录，它怎么可能是网址目录？所以，data肯定是文件目录。

如果想禁止抓取data目录下网址，可以这样写试试：Disallow: /data/*.html 禁止访问/data/目录下的所有以".html"为后缀的URL(包含子目录)。

Disallow：/data/ （代表着禁止蜘蛛抓取data目录下面的所有页面，但是data这一级是可以抓取的。

举个例子： 可以被抓取。不可以被抓取。

Disallow：/data （代表着禁止蜘蛛抓取data整个目录，含data这个目录级别。）