看这个链接：
http://www.dajiatou.com/index.php?m=project

当搜索引擎爬行的时候，这个页面返回的是404，正常访客访问没问题。

求解

谢谢！

上图：

状态码是返回200，搜索引擎蜘蛛访问是没有问题，这可能是网站程序或技术屏蔽的问题！

状态码是返回200的，搜索引擎蜘蛛访问应该没有问题，你这个应该是技术上问题导致模拟蜘蛛无法抓取

那就是技术上面故意屏蔽了蜘蛛呗

是不是屏蔽了模拟蜘蛛？
然后你查的是模拟的数据？

你这个是什么软件？没见过这个看不懂呢？不过其他蜘蛛模拟工具看抓取没有问题的！稍等研究下再告诉你哈！