首页 > 问答 > 网站日志中的OPT、HEA、PUS、PUT分别代表什么意思?且蜘蛛抓取一

网站日志中的OPT、HEA、PUS、PUT分别代表什么意思?且蜘蛛抓取一

[导读]:今天检查网站日志,出了GET外还看到其他的OPT、HEA、PUS、PUT,这些分别代表什么意思?发现蜘蛛抓取的网页url很少,大部分都是jpg图片,有必要禁掉图片抓取吗?还有就是蜘蛛抓...

今天检查网站日志,出了GET外还看到其他的OPT、HEA、PUS、PUT,这些分别代表什么意思?发现蜘蛛抓取的网页url很少,大部分都是jpg图片,有必要禁掉图片抓取吗?还有就是蜘蛛抓取了一批服务器上不存在的目录和url,是怎么回事呢?在服务器上没看到抓取的文件,是网站被攻击篡改内容吗?求知道的和有过经历的大神帮忙解答一下,谢谢!


1

###

那些是HTTP的请求方法,我们常见的是get 和 post 详细看这里:

2.百度新增了一个类型的蜘蛛,看这里   说是“从3月24日(2017)开始,百度搜索抽取了部分优质站点进行抓取内测,” 实际我的博客在25,26号左右也发现了baidu-render的踪迹,难道我博客也算是优质站点了?窃喜。如果你觉得无所谓那就封锁掉吧

3.蜘蛛抓取不存在的目录很正常的,某人在某平台比如站长工具查询你的SEO信息,域名输入错误了,然后被蜘蛛爬取了,这些很正常,其实不需要过多处理,如果对这些URL404感觉不舒服可以在百度站长平台主动提交一下。

###

不是大神![]~( ̄▽ ̄)~*

、HEA、PUS、PUT我没见过,你可以截个图让我看下,查下。

2.图片禁用,看你吧,认为没意义的话,可以。或者添加ALT标签也行,如果是图片链接的话,也没意义,就用Nofollow禁用吧。

3.这个可能是测试的时候被蜘蛛抓过,删掉后蜘蛛有回来抓了,那就多看几天,如果多次都来,那就robot屏蔽掉。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/48261.html