如题，发现伪蜘蛛不断的爬取网站那些不存在的目录，这样对网站有什么影响吗？老是这样会影响判断蜘蛛爬取的真实记录，要怎么解决这个问题呢？
例如：222.216.188.87 - - [16/May/2014:01:51:02 +0800] "GET /adminsoft/templates/images/login_title.png HTTP/1.1" 404 5831 "-" "User-Agent\x09Baiduspider"
222.216.188.87 - - [16/May/2014:01:51:04 +0800] "GET /data/admin/allowurl.txt HTTP/1.1" 200 47 "-" "User-Agent\x09Baiduspider"

我也发现了，应该是探测网站漏洞的扫描器

有人在扫描你的站 打算干坏事 小心啊

我也遇到这个问题了，
然后拿Robots.txt给屏蔽了那些虚拟的目录。
不知道是因为什么，感觉不是镜像的站，但是确实存在这个问题，
每天都在不停的检测不存在的目录。
日志看目录，不存在的目录，抓取量很大，有人知道是什么情况不？

伪蜘蛛服务器或者VPS端可以屏蔽掉，虚拟主机屏蔽的话比较麻烦，小网站无法精确的测量spider不必太在意，大致有经验把握即可

你可以用loghao检测一下，蜘蛛是不是真实的。

如果确认都是伪蜘蛛，就怕是有人在镜像你网站。