首页 > 问答 > 各大蜘蛛爬行能识别最大多少个字符的url

各大蜘蛛爬行能识别最大多少个字符的url

[导读]:各大蜘蛛爬行能识别最大多少个字符的url 我网站url中文,被转码太长貌似蜘蛛抓取不完 不要管能识别多长,我们只需要做到 越短越好 建议: 域名/目录名/数字 这种格式 ### 上...

各大蜘蛛爬行能识别最大多少个字符的url

我网站url中文,被转码太长貌似蜘蛛抓取不完

不要管能识别多长,我们只需要做到 越短越好
建议:
域名/目录名/数字 这种格式

###

上图不说话:



###

你以为蜘蛛能识别url的具体意思吗,就算是全拼音也有同音字,人都不能认全,何况蜘蛛。蜘蛛对于有a标签的url不用识别,它认herf=“”中的链接就行了,就像你直接点击网址或锚文本进去一样,只是访问方式不同,返回结果不同。对于纯文本的url,可以以http://、.com、.net、等固定的字符识别。
————————————————————以上纯属个人扯淡,非标准答案。

###

谢谢邀请,
有时候我们的url层级非常短,文章质量非常高,网站结构也适合SEO优化,可是百度蜘蛛就是不抓取我们想要让他抓取的url,但哪怕是死链接,并且做过屏蔽的死链接依然抓取,两三个月,半年、一年这些死链接依然抓取,隔三差五的抓取,抓取量还非常大。
所以URL形式没有什么字符的限制,只要点击路径够浅即可,蜘蛛就可以瞬间抓取,从美观及长短方面可以考虑一下.。

###

我刚刚入门呢!还不懂蜘蛛这块

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/34255.html