首页 > 问答 > 电商网在网络日志中出现了大量的谷歌404蜘蛛状态码是什么原因

电商网在网络日志中出现了大量的谷歌404蜘蛛状态码是什么原因

[导读]:解决的方法是什么?相对于用户状态码,蜘蛛状态码是不是更重要与用户状态码,用户状态码是基于什么发现的,我用的是光年日志分析工具 404的出现对网站不好,这时候要检...

解决的方法是什么?相对于用户状态码,蜘蛛状态码是不是更重要与用户状态码,用户状态码是基于什么发现的,我用的是光年日志分析工具

404的出现对网站不好,这时候要检查一下网站内部哪些链接失效了。然后删除。注意一下两点:第一,找URL规律,Robots屏蔽;第二,看网站地图里面有没有该链接,如果有删除。

###

用谷歌站长工具看一下吧,日志里的谷歌蜘蛛未必是真的谷歌蜘蛛,也许是假冒的呢。
其次,看看那些404页面的代码,确定httpstatus状态码是404吗?
第三,如果页面是不存在的,那么要看看出现这些url的原因是什么,比如拼写错误之类。

###

从发起者的发问推测对网络日志还不是很熟悉,这里我谈下以上问题:

1、出现了大量的谷歌404蜘蛛状态的原因:
404状态码是用户(分为访客和爬虫)向服务器发出页面访问请求,服务器中不存在该页面即返回404。如果页面存在并且正常访问会返回200,如果页面被重定向到其他页面会返回301,如果网站程序故障造成无法访问会返回503

2、解决的方法:
首先判断404的页面情况,检查这些页面是否存在,在服务器负荷过大或其他情况下会出现无法访问页面,而返回404,这种情况是偶然造成的,需要对服务器进行稳定性维护。

其次404状态码是一个不利于网站SEO的现象,是需要进行处理。如果页面确实不存在,则需要使用“死链表”和“Robots"结合处理。死链表的原理是主动将不存在的页面地址(返回404地址)以告知是死链的方式提交给搜索引擎,搜索引擎处理后就会从数据库中清除这部分资料。robots的原理是屏蔽搜索引擎去抓取某些特定区域、特定规则的页面,有些时候死链是成规则批量出现的,可能有上白条,这样就需要结合robots进行屏蔽。

3、蜘蛛状态码与用户状态码:
状态码起到一个告知网站管理员和网站访问者的作用,只是当蜘蛛访问时会相应返回蜘蛛状态码,当用户访问时会返回用户状态码。以SEO为出发点,蜘蛛状态码会比用户状态码重要,用户状态码不是不重要,而是放在其次。

4、用户状态码的原理:
用户(分为访客和爬虫)向服务器发出页面访问请求,服务器将页面输送给浏览器同时传输返回码

5、光年日志分析工具的体验
我也是使用光年日志分析工具,感觉性能挺好,分析速度快。日志是由服务器上的管理器登记产生的,光年日志分析工具是一个解读日志数据的软件。

###

首先,你的网站是否改版?URL是否处理好?另外,下面两个方法可以急救:
1、有些URL可以用301重定向来解决
2、Robots屏蔽
另外,其实谷歌喜欢网站返回正确的状态码,只要正确设置死链接的返回状态,一般不会有问题的。
还有,正确地使用404,其实可以让整个网站在搜索引擎中的表现非常有帮助。

###

那些路径访问下是正常的不,不正常就是死链接

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/17456.html