首页 > 问答 > 关于网站robots.txt书写问题

关于网站robots.txt书写问题

[导读]:我买了美国无限空间,根目录下面有我自己的博客,二级目录下有其他的网站,现在烦恼的就是根目录下的我自己的博客robots.txt应该怎么写?结构是这样的: -xxxx1.com -xxxx2.com...

我买了美国无限空间,根目录下面有我自己的博客,二级目录下有其他的网站,现在烦恼的就是根目录下的我自己的博客robots.txt应该怎么写?结构是这样的:

-xxxx1.com
-xxxx2.com
-wp-admin
-xx
-xx
-xx

我现在是在根目录下建立我的博客,但是写robots的时候我就犯难了。如果我在根目录下写禁止搜索引擎爬二级目录的,那会不会对二级目录的收录有影响呢?不知道下面附件能不能看到目录结构的截图?

我现在是希望在蜘蛛爬根目录的网站,不去爬WP的那些目录和二级目录建站的内容。但是又不影响二级目录独立的正常收录问题!以前用过,就是没在根目录下写robots,出现根目录的网站出现收录二级目录网站的内容。重复收录了。

不会,子目录绑定的域名,蜘蛛是没法爬行上一级父目录的Robots文件的。
所以完全不用担心,在根目录屏蔽掉二级目录,然后在二级目录使用正常的robots规则就可以。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/55342.html