首页 > 问答 > 各位遇到过这种情况吗?前几天看有人在说。(悬赏3元)

各位遇到过这种情况吗?前几天看有人在说。(悬赏3元)

[导读]:我使用的是宝塔面板。 好几个站,几个服务器!每个都安装了监控报表。 从前天第一个站开始,突然头条蜘蛛来了20000个,然后百度蜘蛛就没有了。我以前每天百度蜘蛛大概1...

我使用的是宝塔面板。

好几个站,几个服务器!每个都安装了监控报表。

从前天第一个站开始,突然头条蜘蛛来了20000个,然后百度蜘蛛就没有了。我以前每天百度蜘蛛大概1000多个。

然后昨天,另外一个站,神马蜘蛛迅速增加,百度蜘蛛又没有了。以往每天400-500个!

今天又一个站,也是神马蜘蛛上去了,然后百度蜘蛛下去了。

这是什么问题?是宝塔的问题,还是其他什么问题?

服务器方面:

1、你把宝塔面板升级到最新版,新版以上有免费的防火墙,可以把不必要的搜索引擎屏蔽(这里不是说头条是不必要的),你要看抓取的蜘蛛是不是真蜘蛛。所以防火墙有必要用下的

2、你的服务器带宽,你很多个站点放一个服务器,用的是同一个带宽,拿1M带宽来举例,1M带宽差不多支撑500来个ip访问,如果服务器优化的好,可以达到5000PV,蜘蛛抓取也是占用带宽的,所以当你一个站抓取量大的时候,另一个站必然就会少。

网站方面:

1、把日记下载下来分析

2、把不用抓取的路径在Robots屏蔽掉

3、把用不到的蜘蛛屏蔽掉,比如俄罗斯蜘蛛  Ahref蜘蛛等,减少不必要的带宽浪费

4、看网站抓取频次波动(结合日志分析),如果波动太大,提交站长反馈

###

那么就需要注意了,然后监控报表更新一下

###

你应该看日志的,也有可能是宝塔的问题,看日志跟宝塔的区别大不大然后再确定是哪里的问题

###

宝塔面板没更新

###

查明了,宝塔面板没更新,然后监控报表更新一下!

###

你先检查一遍宝塔看看~如果不是这个问题,那么就需要注意了,是否有人恶意在刷

###

和宝塔没有关系,网站的问题

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/99053.html