[导读]:如上图所示,大量的404是来自访问robots.txt文件的。几大蜘蛛都是类似的情况。我的这个文件是这样的一些内容。哪位可以帮忙分析一下呀? 我想了解下,实际上你的是可以访问...
如上图所示,大量的404是来自访问robots.txt文件的。几大蜘蛛都是类似的情况。我的这个文件是这样的一些内容。哪位可以帮忙分析一下呀?

我想了解下,实际上你的是可以访问的是吧?
再就是想知道你用的这是什么分析软件看的日志
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/41437.html