log日志如何区分用户IP和搜索引擎蜘蛛IP?
[导读]:阿里云ECS服务器,tomcat7,一开始看日志文件以为服务器只记录用户访问而不记录搜索引擎的爬行,后来发现日志是有记录蜘蛛爬行的,只是没有区分出来。 那么,log访问日志文...
阿里云ECS服务器,tomcat7,一开始看日志文件以为服务器只记录用户访问而不记录搜索引擎的爬行,后来发现日志是有记录蜘蛛爬行的,只是没有区分出来。
那么,log访问日志文件中如何区分用户IP和搜索引擎蜘蛛IP?service.xml配置文件如何配置区分IP的格式?
日志文件如截图:
如果是百度“访客”信息会留下 Baiduspider 这个词在log日志里,你在文件里搜索这个词就是百度的蜘蛛。谷歌的是googlebot
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/39513.html