首页 > 问答 > 有个问题跟大家讨论下,关于robots的disallowed语句的问题

有个问题跟大家讨论下,关于robots的disallowed语句的问题

[导读]:今天别人突然问我个问题,我回答了但是不确定是不是正确,跟大家讨论下。 如果我在robots里面限定了这个目录是disallowed,就告诉蜘蛛不要来爬这个目录的下的文件了, 但是如...

今天别人突然问我个问题,我回答了但是不确定是不是正确,跟大家讨论下。

如果我在robots里面限定了这个目录是disallowed,就告诉蜘蛛不要来爬这个目录的下的文件了,

但是如果我用高权重的网站给这个目录下面的文章做外链来主动引蜘蛛,是不是还是可以收录呢。。。。

我觉得从逻辑上讲是可以收录的,robots只是进来是告诉搜索引擎不要去爬,没有考虑主动吸引的情况吧

因为没有操作过,想来这里问下,看大家有没有操作过的,或者试验过的。。。。

我个人感觉不会收录,即使引过来收录了,过几天就会吧这些收录的删除收录。
通过观察服务器log文件,发现百度整天都在抓取我的Robots文件,似乎它每次来抓取都会检查下robots文件。不跟踪其实就是不收录的意思。

###

可以

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/34237.html