最近在一个客户网站上发现 服务器日志里发现蜘蛛只频繁抓取一个 /iisstart.htm文件，连首页和robots文件也不抓取，导致这两天网站文章收录很差。这是怎么回事？
求高手解答，在下感激不尽！情况如图：

百度和360的蜘蛛同一个IP？先验证下蜘蛛。不存在，返回码怎么可能是200？

这个一看就是假蜘蛛，同一个ip地址怎么能冒出来 一个是百度蜘蛛一个是360蜘蛛。

如果是没有多大意义的页面，可以给那个连接加Nofollow，或者直接Robots下禁止抓取，便可以了，一个站的抓取量是有限的。