一般不允许百度蜘蛛抓取网站的哪些东西

基本上除了网站的文章目录文件以及图片文件，其他的不想被收录的都可以屏蔽掉。一般会员信息，登陆页面后台文件什么的只要是需要输入密码才能访问的可屏蔽也可以不用特意屏蔽，因为蜘蛛跟普通访问者一样只能通过链接来抓取和爬行网页，是无法通过输入密码登陆后台抓到私密信息的。

从SEO角度上讲，一般都是屏蔽死链接、错误链接，屏蔽一些重复的URL（比如一个页面有多个URL，可以选择其中的一个，把剩余的屏蔽）。
还有，为了节省宽带，可以一些比较大的音频、视频文件、图片文件等（如果存在的话）。
如果你网站上有一些不想让搜索引擎蜘蛛抓取的文件，都可以用Robots.txt屏蔽。

后台目录，动态链接，标签，评语，文章目录，其他你不想收录的，登陆，注册页面等，得看站长怎么想。