首页 > 问答 > 请教一个robots.txt的问题

请教一个robots.txt的问题

[导读]:在同一个文件下有很多文件,用的是伪静态,有部分是必须让抓取的,现在想把这种格式的屏蔽掉,请教各位,该怎么写啊,谢谢啦。 aaa/list-htm- 类似这样的是想屏蔽的 aaa/lis...

在同一个文件下有很多文件,用的是伪静态,有部分是必须让抓取的,现在想把这种格式的屏蔽掉,请教各位,该怎么写啊,谢谢啦。
aaa/list-htm-
类似这样的是想屏蔽的

aaa/list-htm-catid-28-page-2.html
aaa/list-htm-typeid-99-catid-28-areaid-28.html
aaa/list-htm-catid-12.html
aaa/list-htm-typeid-5-catid-12-areaid-0.html

aaa/aaa/
屏蔽上面2个 aaa/list-htm-catid-*
屏蔽下面2个 aaa/list-htm-typeid-*

aaa/aaa/
全部屏蔽aaa/list-htm-*

不知道是不是你想要的
User-agent:*
Disallow:/aaa/list-htm-*

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/38855.html