[导读]:今天 在交换友情链接的时候发现对方网站中robots.txt文件存在一个问题,里面的内容如下: User-agent: * Disallow: /gb.php Disallow: /gb2.php Disallow: /parse.php Disallow: /parse2.php Disallow: /parse...
今天 在交换友情链接的时候发现对方网站中robots.txt文件存在一个问题,里面的内容如下:
User-agent: *
Disallow: /gb.php
Disallow: /gb2.php
Disallow: /parse.php
Disallow: /parse2.php
Disallow: /parse_friends.php
Disallow: /parse_multi.php
Disallow: /parse_pwds.php
Disallow: /parse_space.php
Disallow: /downparse.php
Disallow: /xdown.php
Disallow: /
前面的我感觉没什么问题,但是最后一个Disallow: /
1、这个与上面的条件是不是重复了呢,既然禁止了所有的蜘蛛进行访问,那为什么还要在前面设立其他的条件呢?
2、这个对友情链接会有什么影响吗?是否能够交换呢?
求各位大神帮忙解答一下,万分感谢。
Disallow: / 是屏蔽蜘蛛抓取根目录
也即是意味着,网站下面的内容都不被蜘蛛抓取
你换链接呢,他都屏蔽了蜘蛛,那你换也没啥用啊。
所以你有两个方法:
1、不换
2、告诉他Robots里面存在Disallow: / ,让他删除robots里面的Disallow: /
Disallow: /
据我所知这条是屏蔽全站的呀!
有了这一条他的网站就不会被抓取了呀!
楼上那些人怎么回事呀!
###粗略一看,楼上各位都是没影响的,不过个人看来还是影响较为严重的,Disallow: / 首页被禁止抓取了,请问,换友链,对我有什么作用吗? 换友链的最主要的作用就没了啊!
楼主,建议把他的链接删掉吧!
###正常交换,不要担心哦!
###没有影响这个 正常交换吧 他那个意思不抓取他的根目录 跟链接没有关系
###没禁止你换友联的页面或者Nofollow的话可以换
###没有影响,正常换吧,只要不在链接里加Nofollow就可以
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/58180.html