网站www点jhnonwoven点com，原本一切正常，突然google检测说 检测到tobots文件，但是无法下载，导致现在google无法抓取网站内容，而事实情况是我的网站至始至终没有使用robots文件，根目录下面也从来没有这个文件，问了阿里云的空间商，说空间没有没问题，但是无论怎么出路，哪怕是重新再根目录下建立新的空白robots，依然使无法抓取，请大神给看看。

把Robots文本下载下来检查一下，看看有没有设置过什么东西，重新做一下修改调整，

提交谷歌网址，查看Robots。txt是不是屏蔽？

露个头，哈哈

这个你说没有Robots不一定是robots文件，如果是这个一般在跟目录可以找到，但你这个根本没有，可能是页面 head 部分 meta 标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。 原文链接（作者：江西SEO曾庆平）：，你可以去看看我这篇文章的介绍内容对比一下。

我的意思就是在FTP里面把Robots.txt文件给直接删除了，一了百了

1.不要建空的Robots.txt文件，随便写点内容。在这里给你提供一点。

User-agent: *

Allow: /

2.请使用google的抓取工具测试一下，除了无法下载robots.txt页面其它的页面可不可以抓取。

提供一个思路：如果出现Robots.txt出现无法抓取，但根本从来没设置过robot。不如直接建立一个robots.txt来定义哪个文件夹不允许访问（如果不会写robot也可以参考一下其它网站相同CMS的robot 内容差不多），这样就不会出现提示无法抓取的问题了。以前遇到过一次，后来证实是空间商设置错误。