如果一个网站不限制访问，内容都是可访问的，那么有必要设置robots吗？

网站的404错误页面必须做吗？

请大神指教，我们公司的网址是：

http://www.denfut.cn/[?]

谢谢！

这应该是算出于用户体验方面的考虑

我来说一下404页面吧，听他们扯的蛋疼。当不设置404的时候，搜索引擎访问到一个被你删除的页面的时候，返回的代码仍是200，那么就有一个问题，这个页面没有内容，是一个空页面，当这种页面多了，搜索引擎就会判断你这个网站重复页面多，而且没有内容，一个站就这么叼的了，设置404则返回代码404，告诉搜索引擎这个页面不存在了不必来抓了，当然搜索引擎会多次爬行确认内容到底存不存在或者有没有恢复。 我就笑笑。

404页面是很有必要做的，尤其是用户体验来说，如果没有404页面，用户会以为自己进错网站而跳出，如果有404页面，可以引导用户访问网站的。

一、即使网站所有内容都想要被抓取，也建议放置 Robots.txt，内容可以是空的，也可以书写：

User-agent: *

Allow: /

二、任何网站都非常有必要设置 404 页面，原因有二：

1、对于优化而言，404 页面的作用是告诉搜索引擎该页面已经不存在了，并返回 404 状态。

2、对于用户而言，不仅要告诉用户该页面不存在，同时友好的把用户引导到正确的页面上也是非常重要的，大多数的做法是添加首页的链接、或者是一个搜索框。

一般的，网站的Robots都是要设置的，因为总有一些网站隐私来进行适当的回避，所以必须要设置，至于网站的404建议设置，避免网站出现死链来减少网站收录数，你可以参照郑州瑞之雪官网上的一些相关问题解答来进行进一步分析