近几日分析网站日志，robots文件已禁止百度抓取部分目录，但还是抓的很厉害。
望大神指点指点。。。@@www.benpaoba.com@@

很难被禁止，只能想办法减少抓取，你Robots里面禁止了，但网页代码里面还是很多的，特别是头部，蜘蛛一开始就是先抓取了这部分内容，所以抓取比例还是很高。想办法合并 放置页面底部可以减少抓取。

百度是很遵守Robots规则的，你先检查下百度在这段时间有没有爬取robots.txt文件。

百度是很遵守Robots规则的，你先检查下百度在这段时间有没有爬取robots.txt文件。