首页 > 问答 > 日志里百度返回值301暴增,如何分析

日志里百度返回值301暴增,如何分析

[导读]:咨询301的问题 这几天百度抓取301暴增了10几倍,6月8日之前301数据:650左右,6月9日开始暴增到:86000左右 百度抓取的页面都是少(/)的页面,这些页面是怎么产生的呢? 正常的...

咨询301的问题
这几天百度抓取301暴增了10几倍,6月8日之前301数据:650左右,6月9日开始暴增到:86000左右

百度抓取的页面都是少(/)的页面,这些页面是怎么产生的呢?
正常的页面:www点jobui点com/company/company/9927308/
百度抓取了:www点jobui点com/company/company/9927308

怎么去分析它的?

网站上各个链接都是带斜杆的,
日志里也有一些带斜杆的抓取。
但为什么会有这么多不带斜杆的抓取呢? 请高手指教

蜘蛛是根据链接爬行的,从内外链和网站地图开始检查,另外我看了一下这些页面都没有收录,你这个是蜘蛛爬行记录吧?

###

你先看看最近是否有什么操作导致内链或者外链链接的是带/的还是不带/的。
如果是不带的,那问题就在这里的,百度通过链接抓取不带/的,然后301到带/的

不过也有可能是百度在试不带/的访问不访问的了(我不知道该怎么形容,不过有时候确实会这样)
比如百度会经常抓已经做了301的不带www的域名。
不过这种情况都是短期的,如果你这个长期出现,并且已经抓取一次的不带/链接,当天或者隔天多次抓取,那很可能还是内外链的问题,或者canonical标签之类的。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/17832.html