关于单个的页面抓取过度的判断？
[导读]：怎么判断一个网站的哪个页面抓取过度？ 朋友说抓取过度可以从日记和sell中判断，sell是什么？ shell指令： $ cat |awk '{print $8}'|sort|uniq -c|sort -nr 选取$8（访问URL）降序排列并...
怎么判断一个网站的哪个页面抓取过度？
朋友说抓取过度可以从日记和sell中判断，sell是什么？
shell指令：
$ cat |awk '{print $8}'|sort|uniq -c|sort -nr
选取$8（访问URL）降序排列并输出统计结果
是你的日志名称
参考：
是shell
在网站日志看页面重复抓取次数
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/83209.html
