我们都知道，robots是禁止搜索引擎蜘蛛爬行。

nofollow也是提示搜索引擎不要抓取。
但是nofollow还有两个功效，一是不给链接投票，降低此链接的权重，二是使添加nofollow的部分内容不参与网站排名，便于集中网站权重。

我想问的是：robots是不是也和nofollow有相同的功效，可以降低此链接的权重，集中网站权重呢？元芳你怎么看？

经过和几位同道讨论，补充一下：

蛛蛛去爬行一个网站，然后首先访问robots文件，发现robots文件声明A页面连接已经禁止抓取，然后蛛蛛在抓取B页面时发现A页面的连接，因为前面有声明，所以蜘蛛就不会再去抓取。大家都知道蜘蛛只负责抓取，并不负责页面的权重处理，然后，搜索引擎在处理页面权重的时候，准备给A页面投一票时，发现索引中没有收录A页面，所以A页面得不到投票，这一点我们可以确定啦，但是B页面因为少投出一票，是不是就集中了权重呢？

通过这个问题，希望大家认真讨论一下关于”页面权重传递“的话题。

Robots是用来禁止某url内容出现于搜索引擎上面的；而Nofollow并非是禁止爬行，仅仅是不允许转移权重而已。

回答：集中权重本身就是robots的功效之一，推荐搜索引擎收录特定的页面。

研究的这么细真的不好！个人认为，搜索引擎的算法我们都不知道，什么Robots、Nofollow的，你真的就确定能起到效果吗？现在的SEO已经不是SEO啊，都在老老实实的做站，我就不信，我的网站内容精美，用户喜欢，搜索引擎它就不给我排名？？？

如果你这样用，效果是类似的，但是肯定不一样。

Nofollow是告诉蜘蛛不传递权重，最开始的设计还包括不爬行，但是后来据说nofollow标注的链接蜘蛛也是会去爬行的。

而Robots.txt协议，是告诉蜘蛛哪些地方能去，哪些地方不能去（也许蜘蛛没怎么遵守协议，但是面子上它不会放出来），既然去都不去，自然不会给什么权重。

所以从这个方面来看，确实有这个效果。

那么为什么同一个功能要搞两套方案呢？

——因为robots.txt可以控制自己的站，但是管不了别人的站。

所以，你可以用robots和nofollow来控制自己的站内链接，但是你只能用nofollow来防止本站的权重流向外链的站点。

认为：
Nofollow只是链接当中的一个标签属性，主要目的就是防止垃圾链接，阻止权重的传递。

Robots是网站与搜索引擎之间的协议，它是用来阻止搜索引擎抓取我们网站上不想公布的消息，比如网站的会员信息等等； 那是和网站收录扯关系了，和降低权重传递完全是两码事了！！

Robots 和 Nofollow 标签 除非必要 不建议使用，robots是一个协议，nofollow是一个规则。协议生效百度是不会爬取的。nofollow禁止可能也会爬取，主要是 你的页面a 连接到b 你在链接的地方设置nofollow 百度是不会传递权重，但是可能有c链接也指向 b 没加nofollow 那么就爬取b页面了。另外告诉你，nofollow加太多对蜘蛛不友好，尽量少加，不然收录是问题

Robots与Nofollow 元芳你怎么看？

Robots是禁止搜索引擎蜘蛛爬行，但是不禁止索引，可能是外链让这个页面网址被索引，但是不放出内容。站内肯定是不会传递权重给他，但是外部网站会有传递权重。
Nofollow是可以被蜘蛛爬行，也会索引，只是当前页面不传递权重给nofollow掉的页面。nofollow掉的页面由于权重被降低，也就是这个页面的重要程度被降低，搜索引擎来爬取的概率也就降低了，也就节省了时间来抓取其它重要页面。
个人鄙见，欢迎讨论！

即使你在整个页面的 A 标签上加了Nofollow属性，但是如果 搜索引擎蜘蛛只要发现这个地址并且在Robots里没有限制的话，那么它还是有可能被收录的！我曾在一个网站中所有的A标签上加nofollow标签，只留一个网站地图的地址，网站照样收录。

对的权重并不能叠加到原来的B页面中，只是流失了给A页面的权重值

Robots直接阻断了引擎和该页面的联系。
Nofollow掉一些重复或没有实质性内容的页面，可以减少引擎反复收录这些页面，集中权重，同时让引擎有更多爬去重要的页面。

关于权重的传递在《seo实战密码》中有解释，假如把权重分作十的话，如果AB两个页面进行了链接，并且A页面的权重被Robots，爬虫并不会爬取。这是一种隐私设置，搜索引擎会认为这是您的隐私内容，。不会爬取，也不存在权重之说。Nofollow是告诉搜索引擎不传递权重，即使不传统 当做了nofollow之后，这部分权重，并不会继承在其他的页面，按照传统的想法， 如果AB丙个页面，A页面的链接被作了nofollow，但B页面并没有被做，应该是B继承了A页面的权重，从而得到十的结果。
但事实并不是这样的，即使您做了nofollow，同样你的页面B所分的权重依然是5，而余下的五，去向则成为了迷。这是谷歌搜索引擎对于nofollow的说明。在《seo实战密码》第二版中有说明。
至于百度，或许也是一样的。因为百度的算法往往是跟在谷歌之后的。所以有时有些链接有没有必要做nofollow还要考虑。

个人觉得B页面上的哪个A链接虽然没有被蜘蛛爬行也就没有权重的传递，但是链接是依然存在的 ，针对B页面而言 如果B页面上有A 和C两个链接，A 禁止爬行，但是链接数量依然是2个，架设B页面的权重是2 那么 本应该A和C 各分的1 ，现在A禁止，那么C 不会分的2，C依然是1，那么为什么又说集中了权重呢？很明显这类是失去了1的权重？？ 从整站考虑，A 这个页面没有参与到整站的收录与权重里面来，那么对于整站的关键词主题集中起到了作用。虽然 B失去了1的权重分配，但是整体上来讲，那是已经权重集中了。。

个人觉得 Nofollow标签能实现的。在Robots.txt中都能实现。关键就看搜索引擎对这个那种的反应速度。个人更倾向使用robots.txt

一个是不抓取
一个是不转权重