[导读]：网站更换服务器，近几天出现这样的蜘蛛日志，23号都是这样的蜘蛛日志，每秒9次，频率太快了。求解，希望各位高手帮我解答，该如何处理？ 看不到爬取的网站路径，人工访...
网站更换服务器，近几天出现这样的蜘蛛日志，23号都是这样的蜘蛛日志，每秒9次，频率太快了。求解，希望各位高手帮我解答，该如何处理？
看不到爬取的网站路径，人工访问些URL是否能正常访问，如果人工能访问再用模拟工具抓取一下看，是否能正常爬取。
###检查贵站各种页面各种模板源文件，ctrl+f搜索404路径，删除之..
###代码中有一段 ：/54904 这样的，前面加上你的域名就是蜘蛛访问的页面。
你看看为什么会访问这些页面？有内链到这些页面？网站地图有这样的页面？
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/76316.html
