Disallow: 然后路径

比如：Disallow：

就是这么简单，你怕了么

Disallow:  /xx/xx/

Disallow: /

代表着禁止抓取网站的某些内容，如“/”后面没有任何参数代表禁止抓取网站所有内容。我们来学习一下参数后面分别代表的含义：

Disallow: /admin/ 禁止抓取admin目录下的所有内容；

Disallow: /cgi-bin/*.htm 禁止抓取/cgi-bin目录下的所有以.htm结尾的文件；

Disallow: /*?* 禁止抓取网站中所有包含问号 (?) 的网址；

Disallow:/ab/ 禁止抓取ab文件夹下面的文件；

在这里重点强调一点，Disallow指令有一个比较特殊的地方，Disallow: /代表着禁止抓取，但是Disallow: 代表着允许抓取

Disallow: /