上图，这是我在本地搭建的一个网站！明天打算上线，但是我不想让蜘蛛抓取我网站的产品内容，该怎样写？刚刚有了解过robots的写法，貌似都是通过禁止目录的方式然后禁止搜索引擎抓取网站某个内容，但我现在这个站的产品都是通过文件来控制的！

很简单啊，你的根网址底下

User-agent: *

Disallow: /wp-content/themes/

Disallow: /wp-content/themes/

Disallow: /wp-content/themes/

Disallow: /wp-content/themes/

·······

·······

·······

Disallow: /wp-content/themes/

还有个问题，从你的目录来看，你这个是你网站的模板目录，如果你做静态页面处理的话，按道理，模板目录所有都不让搜索引擎抓取的

一般情况下，WordPress的这个themes底下是全部不让抓取的，就像下面这样写。

Disallow: /wp-content/themes/

Disallow: /wp-content/themes/category-*.PHP（因为你以后可能会有新的产品，一个一个的列出来太麻烦了category-*.php，直接用*号代表以后所有的文件都不抓取即可）此答案引用2楼

@undefined,谢谢

可以的看看

你要明白那是PHP执行后生成的html网页，网页是什么路径就禁什么路径呗(是网页，不是php路径)

如果在一个目录下，就禁掉这个目录呗，怎么写你看过文档的就不多说了

或者，你看你文件都分离出来了  直接加<meta name="Robots" content="Nofollow" />。更简单

禁止掉产品内容的文件路径和目录就可以了