[导读]：MJ12bot、AhrefsBot、SemrushBot网站被这些垃圾蜘蛛疯狂的爬。日志一天就几十M，怎么处理啊？ 直接屏蔽UA ### 这里面是有人通过这些工具去查看和分析你的站点，也可能是你自己的操...
MJ12bot、AhrefsBot、SemrushBot网站被这些垃圾蜘蛛疯狂的爬。日志一天就几十M，怎么处理啊？
直接屏蔽UA
###这里面是有人通过这些工具去查看和分析你的站点，也可能是你自己的操作；这几个爬虫全是外链分析的国外网站，他只是分析的时候会爬你的站点。
Majestic外链分析seo数据!
禁止了，还是会来爬。
###可以禁止一下就行了。。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/128579.html
