网站robots文件应该如何建设

建议好好看看规则是怎么写的，用工具也能，但是最好自己学会，就弄一个txt文件，写好之后上传网址根目录就行了

站长工具生成一个

百度一下  你想要的全都有

很简单 文本文

可以看一下同行业网站怎么做的

站长工具有一个Robots文件生成工具可以做

有很多工具啊 站长工具就可以

织梦Robots 分允许爬行和禁止爬行

Sitemap: /data/

User-agent: *

Disallow: /plus/ad_

Disallow: /plus/

Disallow: /plus/

Disallow: /plus/

Disallow: /plus/shops_

Disallow: /plus/

Disallow: /plus/

Disallow: /plus/

Disallow: /plus/feedback_

Disallow: /plus/mytag_

Disallow: /plus/

Disallow: /plus/

Disallow: /plus/

Disallow: /plus/

Disallow: /plus/

Disallow: /include

Disallow: /templets