首页 > 问答 > 蜘蛛收录不存在的tag列表页,使用robots如何解决

蜘蛛收录不存在的tag列表页,使用robots如何解决

[导读]:织梦程序,标签URL结构是: www.seowhy.com/tags.php?/关键词/ 但是如果该关键词下文章较多,会分词目录页,其URL结构如下: www.seowhy.com/tags.php?/关键词/-3/ 其中关键词后面的 -3 中的数...

织梦程序,标签URL结构是:
www.seowhy.com/tags.php?/关键词/
但是如果该关键词下文章较多,会分词目录页,其URL结构如下:
www.seowhy.com/tags.php?/关键词/-3/

其中关键词后面的-3中的数字3是标签列表页的页码。问题是我网站有的tag没有这么多分类页面,之前google蜘蛛都爬到/-100025/十万多了。

如果用robots禁止,怎么写?下面写的对么,很纠结。

Disallow:/tags.php?/星号/星号/

如果robots不可以,下面是目录页页码代码,怎么处理呢?


共1页/4条

没有个定量,单纯想要屏蔽页码的话。还真没有想到好法子。

###

谢谢邀请。参考下游戏站的tag处理方法
比如关键字A 的页面是A关键字下面有100片文章分了10页 10页的地址全部是 不做改变 程序问下技术怎么实现。
不建议使用Robots来做

###

Robots好像没有这种写法

建议从 可以从这个文件入手,用程序解决就不难了。

###

*/$
不知道上面写法是否正确。但你可以验证下。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/21798.html