robots.txt屏蔽这些文件夹都好几个月了，还一直抓。
看日志里，每天抓取的次数90%以上都是在抓这些文件，有没有好的方法可以阻止？

.JS 里面的内容很多时候都影响了用户体验，或者 其它作弊的方法。

比如我曾见到一个网站打开后直接弹出5个网站的广告。查看源代码后发现广告是在.JS里面。

是不是网站使用过多的隐藏技术来实现TAB的切换？

如果一切正常，那就在服务器端屏蔽百度IP访问某些地址。

这一招很管用！

仔细检查一下你的Robots写的对不对，如果确实没问题，也没有别的办法，百度确实有跨越robots的习惯，就让它抓吧