[导读]:请问这个什么问题, 我找了好久了,突然好好的网站就全部掉了收录,用百度抓取诊断是 有时候抓取成功,有时又抓取失败,失败的都是提示”读取http头或者页面内容时失败“...
请问这个什么问题, 我找了好久了,突然好好的网站就全部掉了收录,用百度抓取诊断是 有时候抓取成功,有时又抓取失败,失败的都是提示”读取http头或者页面内容时失败“
| 抓取UA: | Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) |
| 抓取时间: | 2017-06-10 11:44:05 |
| 网站IP: | 61.***.***.91 |
| 下载时长: | 163.839秒 |
| 抓取异常信息: | 读取http头或者页面内容时失败 |
返回HTTP头:
HTTP/1.1 200 OK
Cache-Control: private
Content-Length: 36234
Content-Type: text/html; charset=utf-8
Server: Microsoft-IIS/7.5
X-AspNet-Version: 4.0.30319
X-Powered-By: ASP.NET
Date: Sat, 10 Jun 2017 03:43:13 GMT
Connection: close
大概情况应该页面状态是正常,但抓取一部分后就断掉了。可能与服务器网络环境、服务器是否屏蔽了特定UA、IP之类有关。
解决办法是可以尝试抓取诊断工具,去诊断下出现问题的URL,如果问题依旧,建议是与服务器提供商联系解决下。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/47864.html
