首页 > 问答 > 如何按数字大小编写Robots规则

如何按数字大小编写Robots规则

[导读]:网站的URL是从/1.html到/10,000.html 如果我希望/1.html到/5,000.html禁止收录,而/5,001.html到/10,000.html不受影响。 请问如何用Robots来实现这个效果? --------------------------------------补充---...

网站的URL是从/1.html到/10,000.html

如果我希望/1.html到/5,000.html禁止收录,而/5,001.html到/10,000.html不受影响。
请问如何用Robots来实现这个效果?

--------------------------------------补充----------------------------------------------
之前没想写太多,不过有人问了,就说一下为什么要屏蔽1.html到5000.html。
出于某种原因的 考虑,1.html-5000.html每个URL对应的页面有多个URL。
这1.html-5000.html也是不想让用户访问的。
所以,想屏蔽这5000个URL。

在robots中没有方法可以实现按数字大小的规则禁止收录吗?

考虑把1-5000和5001-10000放到两个文件夹中。屏蔽文件夹。

###

用excel生成一个列表,然后写入Robots.txt



###

人的一生最宝贵的是真诚的朋友,让我们的友情烘托着灿烂的朝阳,在生命的海浪上闪耀出眩目的光芒

###

可以借鉴 学习

###

能不能够利用程序自动在所有出现“URL是从/到/”的这些链接的地方加上Nofollow标签?

单纯Robots.txt掉的话,那些“URL是从/到/”的页面上还有“URL是从/到/”的页面上的链接,robots了也无效的吧。

###

这一万页面就真的都是统一的目录或者URL结构么?

Disallow: Disallow: Disallow: ...
Disallow: 5.html
Disallow: 4
.html
Disallow: 3.html
Disallow: 2
.html
Disallow: 1*.html

类似、拉列表吧——这样也不少啊。

URL结构没差别的话,所属页面是否可以增加Nofollow?

###

将1到5000网页改到目录a
再使用正则表达式301重定向到目录a
然后设置Robots.txt
Disallow: /a/

###

这么多的页面链接要禁止收录
为什么?文章页面要这么多屏蔽 是什么原因导致你要屏蔽 要搞清楚这个

一般的文章页面 不可能也没有理由去屏蔽这么多类似的文章页面
可以通过其他方法来处理

###

@陈红然 大哥的方法简单易用。直接excel拉个列。不过拉了5000个数量也比较麻烦。当然也可以简单的写个c语言if不断的输出,然后保存的txt里面。 文件夹的形式个人感觉从网站结构上行不通~~~

###

有个办法,也是有点麻烦,就是为了1到5000的页面利用META元标签单独设置Robots访问规则。上面楼主说的“考虑把1-5000和5001-10000放到两个文件夹中。屏蔽文件夹。”方法挺简单的。

###

你们在说神马?看不懂。你们也不说的更明白一点。
陈红然,以后再问这种问题,能不能讲明白为什么这么做?
普及一下我们这些小白。
服了你了。问这么看不懂的问题。也不说明白为什么。
还有回答的人,怎么操作,能不能讲的细节一点。。。
都是一群什么人那。
这世道。
哎。。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/85741.html