大家帮我看看百度蜘蛛抓取的目录 总共抓取了119个目录 有很多都是ftp里没有的目录名字 谁知道是啥问题?  需要每个目录都设置robots吗?  搜狗抓取的就没问题   另外360的蜘蛛完全不来咋搞?

偶尔会这样，第二天就好了

第一，做一下站外外链建设

第一，把你的目录提交给百度

第二，做一下站外外链建设，各种类型外链都发布一下

第三，如果你的目录很多，菜单栏那边没有完全显示的话，那么可以把菜单栏加入到友情链接模块，这样子也可以吸引蜘蛛爬取了

这是因为你网站以前就有的目录文件，你可以用Robots.txt协议禁止掉。

你可以使用Robots屏蔽ftp中不需要抓取的文件夹名词，只需要屏蔽文件夹，切记不要屏蔽网页，否则后期不会被抓取爬行

蜘蛛不来抓取就去引蜘蛛，注重站长平台 提交网站，做外链 友链，发高质原创有价值文章引蜘蛛。