[导读]:我使用的是宝塔面板。 好几个站,几个服务器!每个都安装了监控报表。 从前天第一个站开始,突然头条蜘蛛来了20000个,然后百度蜘蛛就没有了。我以前每天百度蜘蛛大概1...
我使用的是宝塔面板。
好几个站,几个服务器!每个都安装了监控报表。
从前天第一个站开始,突然头条蜘蛛来了20000个,然后百度蜘蛛就没有了。我以前每天百度蜘蛛大概1000多个。
然后昨天,另外一个站,神马蜘蛛迅速增加,百度蜘蛛又没有了。以往每天400-500个!
今天又一个站,也是神马蜘蛛上去了,然后百度蜘蛛下去了。
这是什么问题?是宝塔的问题,还是其他什么问题?
服务器方面:
1、你把宝塔面板升级到最新版,新版以上有免费的防火墙,可以把不必要的搜索引擎屏蔽(这里不是说头条是不必要的),你要看抓取的蜘蛛是不是真蜘蛛。所以防火墙有必要用下的
2、你的服务器带宽,你很多个站点放一个服务器,用的是同一个带宽,拿1M带宽来举例,1M带宽差不多支撑500来个ip访问,如果服务器优化的好,可以达到5000PV,蜘蛛抓取也是占用带宽的,所以当你一个站抓取量大的时候,另一个站必然就会少。
网站方面:
1、把日记下载下来分析
2、把不用抓取的路径在Robots屏蔽掉
3、把用不到的蜘蛛屏蔽掉,比如俄罗斯蜘蛛 Ahref蜘蛛等,减少不必要的带宽浪费
4、看网站抓取频次波动(结合日志分析),如果波动太大,提交站长反馈
###那么就需要注意了,然后监控报表更新一下
###你应该看日志的,也有可能是宝塔的问题,看日志跟宝塔的区别大不大然后再确定是哪里的问题
###宝塔面板没更新
###查明了,宝塔面板没更新,然后监控报表更新一下!
###你先检查一遍宝塔看看~如果不是这个问题,那么就需要注意了,是否有人恶意在刷
###和宝塔没有关系,网站的问题
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/99053.html