网站上线的时候，没来得及修改robots文档，禁止收录。就提交给百度搜索引擎了。过了一个星期才发现还没收录，才发现没有放开权限让收录。及时修改后，允许收录了，但是网站到一个月了，却都还没有蜘蛛爬行网站抓取页面。重新提交了网站链接，也没有好转，不知道该怎么办了？
@@www.xxcydj.com@@

我这个新站买域名后2个月左右做的  做了2个礼拜左右也   只收入了首页跟一篇纯原创的文章   我去了很多分类目录提交

多更新网站内容和多做一些外链入口，吸引蜘蛛前来

建议做一下外链建设

中小型网站基础版外链策略：

1.养10个博客，然后给网站关键词加友情链接，还有博客发文章关键词锚文本指向网站

2.提交50个分类目录，分成6个月加，一个月加10个左右

3.找一些论坛，发布帖子锚文本

4.去交换几十个友情链接

robot.txt文件

大部分的网站收录问题都是因为被robot.txt文件拦截导致的。

Robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。

当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。

格式：

：

用于指定搜索引擎的名称，如谷歌为User-agent: Googlebot，*代表所有搜索引擎

：

表示禁止蜘蛛访问的文件

User-agent: *

Disallow:

表明：允许所有搜索引擎访问网站下的所有内容。

User-agent: *

Disallow: /

表明：禁止所有搜索引擎对网站下所有网页的访问。

User-agent: *

Disallow: /cgi-bin/

表明：禁止所有搜索引擎进入网站的cgi-bin目录及其下所有子目录。需要注意的是对每一个目录必须分开声明。

User-agent: Roverdog

Disallow: /

表明：禁止Roverdog访问网站上的任何文件。

User-agent: Googlebot

Disallow:
表明：禁止Google的Googlebot访问其网站下的文件。

3.注释

以”#”开头的行，均被视为注解内容，注释需要单独成一行

Disallow: bob #comment是错误的

行

Allow行还未普遍使用，对于网站地图，直接写为Sitemap:
编辑模式：

在UNIX模式下编辑你的robots.txt文件并以ASCII码格式上传。显然并非所有的FTP客户端软件都能够天衣无缝地将文件格式转换为UNIX命令行终端，所以在编辑robots.txt文件时，一定要确保你的文本编辑器是在UNIX模式下。

或者使用工具如爱站工具生成robots,直接粘贴复制到网站后台。

检测robots是否生效：

在百度站长后台检测robots

二 robots和Nofollow的区别是什么

robots只用于站内链接。禁止蜘蛛抓取进行收录；

nofollow的链接蜘蛛依然可以收录，但是不会传递权重，一般用于站外链接或者是公司电话，地址的页面有助于网址权重的集中。

三 网站误封robots后的处理

1.解封robots，然后到百度站长后台检测并更新Robots。

2.在百度站长后台抓取检测，此时显示抓取失败，通常更改完robots不会立即生效，需要等待几天，可以多点击抓取几次，触发蜘蛛抓取站点。

3.在百度站长后台抓取频次，申请抓取频次上调。

4.百度反馈中心，反馈是因为误操作导致了这种情况的发生。

5.百度站长后台链接提交处，设置数据主动推送（实时）。

6.更新Sitemap网站地图，重新提交百度，每天手工提交一次。

四.新站robots的设置

对于已经上线但是还没有设置好的新站在robots中用

User-agent：*

Disallow:/

来禁止蜘蛛进行访问

meta标签

meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。

meta robots 标签的写法：

标签的意义：禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。

Noindex：搜索引擎不索引此网页（可以抓取，但不出现在搜索结果中）。

Nofollow： 搜索引擎不继续通过此网页的链接索引搜索其它的网页。

=”robots”content=”noindex” >

标签的意义：禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。

使用了noindex meta robots标签的页面会被抓取，但不会被索引，也就是说页面URL不会出现在搜索结果中，这一点与robots文件不同。

meta robots 标签的作用：

1、不想让网站被收录使用meta robots 标签，禁止搜索引擎索引本页，同时禁止跟踪页面上的链接。

2、禁止索引本页面，但是允许蜘蛛跟踪页面链接，也可以传递权重。

meta robots标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。因此还是推荐用robots.txt文件来限制抓取.

有违规记录的域名

有些站长会选择购买有一定注册年份的域名，但是需要注意这些域名是否曾经被搜索引擎惩罚过，如果这样，网站也是非常难收录的。

建议对于这种情况，站长可以查看一下网站日志，如果蜘蛛未爬取，只需要去站长后天提交即可。如果蜘蛛有爬取记录，但是没有收录，就可能是域名的问题。当然也不排除网站自身存在一定的问题。例如镜像网站等。

如何让网站收录

熊账号后台提交：熊账号对于原创文章的收录要求较高，但是通常首页的收录是非常快的，一般第二天就可以看到效果。而且熊掌号会显示不收录的原因，方便站长进行整改。

天级收录是针对最新更新的网页。周级收录是对于历史网页。

但是网站提交之后站长仍然需要定期对网站进行更新，否则即使收录，蜘蛛也不会给予网站很好的评价，不利于后期排名。

站长后台提交：这种方法也可以达到很快收录的目的，但是如果不收录，站长无从得知不收录的原因，只能够自己查找。

通常新站的收录在1个月内达到90%是一个比较良好的状态。

微信公众号：SEO教程干货
只有干货在等你！！！

觉得更新最重要，如果有更重要的那就是：持续更新。

大家帮我看下，新站一个收录都没有

这个是文本禁止  其实没什么冲突的，就算你文件禁止了，首页还是可以收录的。

所以基本问题还是出现在你网站内部的优化和外链的吸引蜘蛛方面。

问题发现了，就去删除文件禁止 多去走走外链 吸引下蜘蛛，新站和老站区别就是 蜘蛛了。

做SEO一定要坚持，慢工出细活

个性签名：

粉象生活|粉象生活官网 ,专业的综合导购优惠返佣创业平台。

我的网站快上线一个月了，至今也只有三四个页面被收录，每天更新几十篇原创度较高的文章，哪位大神说说还有什么帮助收录的方法啊~

我的网站也是百度只收录了首页，而且快照里面网站是没有图片的，也不知道是什么原因的，跪求哪位大神帮忙看看

我也很纳闷，网站上线了好几天，一直不收录。以前都是秒收，不会超过24小时。要做些什么呢？www点webseo9点com

我的网站，是这个月10月初上线，刚好赶上百度飓风算法， 我想是不是和百度的算法调整有关，以前上线网站从没有这么慢的，一般都是一周之内首页收录，一月之内内页和栏目页也陆陆续续收了，但这次到目前为止几乎都一个月了，只收录首页，我想是不是网站的代码有问题，麻烦大神帮我看看网站的代码哈，谢谢了

我的网站也一样，1个月了才只看到收录了首页，文章及栏目页也都没收录，急死人了，帮我看看呗

做一些引蜘蛛的工作当天就会收录了，除非网站很差。

Robots生效也需要1个月左右的时间啊，何况你一个新站，也许收录了（看一下日志有没有蜘蛛来爬取），还没有放出页面，很正常。不过我的新站上线2-3天就收录了首页（2个新站都是这样，2个星期之后就放出一小部分内页了），呵呵。