谁能给一个几率性比较大的确定解释(最好是你有过相关数据分析的案例)?
一个需要重点做的新站,百度很少抓取,昨天的抓取日志看了以后都是200.0.64 ,抓取量也就很小了,网上看了很多关于200.0.64的说法,希望有人给出一个相关的数据分析后的解释,百度抓取都是200.0.64最大的可能性是什么?
------------2014-06-10 11:06:57 更新------------
网上看到一篇说因为网站开启了GZIP压缩,导致蜘蛛抓取动态页面时接收不到服务器发送的数据
查看了其他几个网站的日志,发现有这种状况存在,动态页面基本都是200 0 64(一天的日志中首页index.asp只有一次是200 0 0状态,其他都是200 0 64,其他所有的动态页面都是200 0 64 ),抓取网站图片和静态页面的都是200 0 0 状态
不过也有一篇说反驳这个观点的,大家怎么理解?
返回值是64,代表百度正常访问了你的页面,但没有获取页面的内容,也代表着不会更新这个页面
###nginx
- - [时间] "GET /网址 HTTP/" 301 178 "-" "Mozilla/ (compatible; Baiduspider/ +百度蜘蛛页面)"
IIS
时间 W3SVC132 GET /网址 ID=14 80 - Mozilla/(compatible;+Baiduspider/百度蜘蛛页面) 200 0 64 308
刚发觉 Nginx 与 IIS 服务器日志有那么多的差别。
nginx 服务器日志里没有 0 64 308 这些参数。
属于抓取当前页面不成功,并不是预示着网站将被K,出现 表示请求当前页面失败
当出现过多我们应该怎么做:
1. 检查IIS日志设置是否正常
2. 网站程序是否有错
3. 黑客正在扫描你的文件,欲找出漏洞,修补漏洞
4. 空间是否稳定
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/25504.html
