[导读]:最近一直在分析网站日志蜘蛛的爬行情况,发现EasouSpider这个蜘蛛的抓取率比百度高,请问这个EasouSpider蜘蛛是否要进行屏蔽,还有这种蜘蛛是恶意蜘蛛吗? easou easou ### 给位求点...
最近一直在分析网站日志蜘蛛的爬行情况,发现EasouSpider这个蜘蛛的抓取率比百度高,请问这个EasouSpider蜘蛛是否要进行屏蔽,还有这种蜘蛛是恶意蜘蛛吗?
easou
easou
###给位求点子把推广号
###确实被卡死过,爬得非常厉害
###如果没让你服务器卡,你的网页内容没那么多,则为何要屏蔽呢?
###像有道、宜搜、雅虎、即刻、盘古什么的,
如果抓取给服务器造成比较大的压力,
看看带来流量的比例。
如果带来流量很低的话,果断屏蔽。
详见:http://ask.seowhy.com/question/1137
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/88227.html