首页 > 问答 > 网站日志蜘蛛爬取了很多不存在的页面(悬赏1元)

网站日志蜘蛛爬取了很多不存在的页面(悬赏1元)

[导读]:这些都不是我网站上的   而且在服务器网站目录里面  也找不到这些文件  那百度蜘蛛是从哪里抓取到的呢? 根据链接看看你网站有没存在这些东西。 ### 嗯  不知道具体情况...


这些都不是我网站上的   而且在服务器网站目录里面  也找不到这些文件  那百度蜘蛛是从哪里抓取到的呢?

根据链接看看你网站有没存在这些东西。

###

嗯  不知道具体情况  不好细说

讲一个以前遇到的案例

网站a采集网站b   采集器的ip还模仿成百度蜘蛛

从日志看,就是蜘蛛抓取了一大堆不存在的页面

后期进行了大量的排查才发现

这个ip原来不是百度蜘蛛

###

应该是你建站数据库里面的一些隐藏文件,不用理会 这个可能偶尔会这样,不会经常的 观察一阵子就行了~~

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/50585.html