[导读]:理论上每一个搜索引擎都有自己特定的蜘蛛,但是我发现360搜索虽然公布了自己的蜘蛛,但是实际上一直采用匿名蜘蛛的方式来抓取网站,你们怎么看? 另外,360曾经真的使用...
理论上每一个搜索引擎都有自己特定的蜘蛛,但是我发现360搜索虽然公布了自己的蜘蛛,但是实际上一直采用匿名蜘蛛的方式来抓取网站,你们怎么看?
另外,360曾经真的使用蜘蛛爬行过,后来改成匿名的了,看这里我曾经抓取过的360搜索蜘蛛的样子:http://liboSEO.com/1267.html
Tips.用搜索引擎搜索 http://ie.icoa.cn 在搜索结果里能看到蜘蛛的样子。


这个应该不是判断爬虫的方式吧?是检测浏览器内核的方式。原因是:
8月份,360低调推出「360搜索+」,取代掉之前的「综合搜索」,因为搜索质量高加之360浏览器巨大的流量引入,迅速占据了搜索引擎的市场。随后3B大战的一触即发,比较典型的动作是百度知道对360做拦截,提醒用户进行跳转。拦截的方式判断用户的UA字段,如果是360浏览器则进行拦截,360方面则通过修改 UA 字段来跳过百度的检测,防止被百度封杀掉。
这一点可以从百度统计流量研究院里面看到:
360浏览器8月份之前的份额与9月份之后的份额对比,是明显的下降,不是因为使用360浏览器的用户减少,而是百度识别不出来使用360浏览器的用户。
我感觉楼上说的是一部分原因,另一部分原因是技术没有达到gg或百度那样的阶段,所以采用这种方式。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/54993.html
