首页 > 问答 > 蜘蛛能顺着相对链接爬行吗?

蜘蛛能顺着相对链接爬行吗?

[导读]:现在网站的内链用绝对链接和相对链接,效果区别大吗? 还有,蜘蛛访问页面的时候,能顺着相对链接爬行吗? 当然可以的,蜘蛛现在都有自主思想了,如果是相对链接,会自...

现在网站的内链用绝对链接和相对链接,效果区别大吗?

还有,蜘蛛访问页面的时候,能顺着相对链接爬行吗?

当然可以的,蜘蛛现在都有自主思想了,如果是相对链接,会自动补齐前面域名,但相对链接也会产生点问题,比如一个哥们的网站,不加3w的域名没有跳转到加3w的域名上,最后蜘蛛抓取了没有带3w的域名后,随着首页一直抓相对路径的URL,抓取的全部是不带3w的URL并且收录了....

###

一句话,蜘蛛比人聪明,不要以人类的智商怀疑蜘蛛的判断能力。。。

###

可以的,蜘蛛访问相当于访客,你试着点击/的链接试试就知道了

###

可以的,蜘蛛抓取的时候是在你的网站上,所以可以根据链接结构判断出来。
给网站设置绝对地址的主要效果是,确定首选域,避免被镜像问题。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/37689.html