Disallow: /admin和Disallow: /admin/区别

一直没闹懂，后面的斜杠加与不加的区别

图片目录 image
js目录 js

要怎么写最好的robots

Disallow: /admin
解释：禁止抓取任何以/admin开头的目录和页面，比如Disallow: /admin2/目录

Disallow: /admin/
解释：仅禁止抓取任何以/admin/开头的目录和页面，但并不禁止抓取/admin2/目录

如果你用过火车头采集器或许会明白点。

就补充 董子桥

Disallow: /admin
解释：禁止抓取任何以/admin开头的目录和页面，比如Disallow: /admin2/目录
还包括 / 这样的页面

其他的一样

Disallow: /admin
表示不能访问目录/admin/下的所有文件，包括该目录下的子目录和文件
Disallow: /admin/
表示不能访问目录/admin/下的所有子目录及子目录下的所有文件，但是可以访问该目录下的文件，不包括子目录下的文件
假如二级目录/admin/下有子目录/admin/dede/,以及一个文件/admin/。
则：
Disallow: /admin
表示不能访问/admin/dede/目录以及该目录下的文件，和文件/admin/Disallow: /admin/
表示不能访问/admin/dede/目录以及该目录下的文件，但是可以访问/admin/
PS:楼上的说法有误：

以下内容来自百度官方“百度搜索帮助中心-禁止搜索引擎收录的方法”
地址：www点baidu点com/search/　　Disallow:

　　该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/、/、/help /，而"Disallow:/help/"则允许robot访问/、/，不能访问 /help/。"Disallow:"说明允许robot访问该网站的所有url，在"/Robots.txt"文件中，至少要有一 条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。

Disallow: /admin的匹配度比Disallow: /admin/的匹配度更广泛，前者可以匹配到/admin/,/,/等，而后者局限匹配admin这个目录。
也可以理解为 前者包含后者，后者包含于前者。

图片目录 image
JS目录 js

如果你的所有图片和js都是只分别在image和 js目录里，如需禁止则加一条Disallow: /image/和Disallow: /js/即可，如果不是，则去掉后面的反斜杠，或者把多个目录列出。

官方的解释如下：
Disallow:

该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/、/、/help /，而"Disallow:/help/"则允许robot访问/、/，不能访问 /help/。"Disallow:"说明允许robot访问该网站的所有url，在"/Robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。

Allow:

该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头 的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/、/、 /hibaidu/。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。

一个包含目录 一个只是针对目录

我的认识是
Disallow: /admin 禁止抓取admin这个文件夹

Disallow: /admin/ 是禁止抓取admin文件夹下的所有文件目录