[导读]：新站上线两个月，这种情况出现过好几次了！ 我写了个爬虫实时显示程序，保存一小时内所有请求并分类是哪里的爬虫。 爬虫来网站很稳定，一小时内基本都是100-130次各家爬虫...
新站上线两个月，这种情况出现过好几次了！
我写了个爬虫实时显示程序，保存一小时内所有请求并分类是哪里的爬虫。
爬虫来网站很稳定，一小时内基本都是100-130次各家爬虫请求，基本都是字节跳动和谷歌，期间时不时来点百度、搜狗、360或者必应
但是我发现好几次恐怖情况，百度偶尔会来大批量爬虫，一小时内百度爬虫量达到200-300，然后问题就出现了：百度高峰来了以后，其他爬虫就走了！
比如昨天，百度半夜一点过来了一波高峰，一直到今天，一小时内爬虫量综合才20多次（其他家）
平时都是维持在100+，只要百度不大批量来一直稳定这个数量，已经两个月了，每天都稳定！但百度每次一来，第二天其他爬虫就不来了。
上几次也是这样，而且也排除了百度高峰引起服务器访问不顺畅问题。
都嫌弃百度蜘蛛可能
###都嫌弃百度蜘蛛可能
###大概爬虫具有排他性.....？
出现大批量爬虫，是因为做竞价了吗？
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/97704.html
