Yisouspider根本不遵守robots协议啊，我昨天屏蔽了也从来不开通什么CNZZ云，一搜还是整天爬，搞的服务器负担很重

公司网站www.qichepeijian.com  

最简单办法是通过服务器日志查看蜘蛛的协议头，也就是User Agent。然后在为伪静态配置文件里面禁用。比如：屏蔽360蜘蛛

360蜘蛛的签名是：Mozilla/ (Windows NT WOW64) AppleWebKit/ (KHTML, like Gcko) Chrome/ Safari/ 360Spider

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} “.*360Spider.*” [NC]

RewriteRule ^(.*)$ http://www.seowhy.com/

还有办法就是利用程序通过识别User Agent的内容，如果匹配到蜘蛛的就跳转到别地或者直接屏蔽。原理是一样的，换汤不换药。

楼上正解，另外，提示一下，   爬虫有一段缓冲。 根据以往经验，屏蔽了爬虫之后，仍然出现一段时间会爬取。