有个很奇怪的问题想请教。
obolee。com/zuanjie/
obolee。com/shoulian/
这两个页面是同一个框架的，除了产品不一样，其他源码都一样。但是在做抓取诊断的时候，zuanjie页面100%抓取失败，shoulian页面能抓取成功。投诉了，百度说是robots禁止蜘蛛爬行，但是我能确定并没有禁止，这现象存在有大半年了，投诉了N次还是老样子，现在网站所有以字母Z开头的栏目都被K了，也抓取失败，各位能帮忙分析下原因吗？
根据夫唯老师的建议，目前robots的内容已经完全删除，删除之前的内容在obolee。com/robots2.txt里面
@@www.obolee.com@@

应该百度蜘蛛的问题,我用测试抓取诊断,抓去首页也会失败,同事用360测试都是一片绿色的,在调换百度抓取UA为移动的就能抓取了,接着在用PC端抓取的也可以了.我认为是百度蜘蛛自身的问题.技术不行不承认啊.

谢邀，看来夫唯帮你解决了。

我本来就完全不懂roborts，看到你们的对话，我也学到了新知识。

@夫唯 有没有收藏该帖子的 功能啊？我想以后需要的时候能查找到。

这个确实比较奇葩。我也看了你的Robots.txt 没发现问题。
你试试把，robots.txt里的内容都去除下，尽量都允许抓取。
特别是把那个对etaospider的屏蔽去除下。
然后再抓取诊断试试。