[导读]：我的robots是这样设置的，目前文章页面不抓取，不知道哪里设置有没问题，懂得人帮我看下哈 谢谢 User-agent: * Disallow: /storage/ Disallow: /data/ Disallow: /so? Disallow: /so_article? Disal...
我的robots是这样设置的，目前文章页面不抓取，不知道哪里设置有没问题，懂得人帮我看下哈 谢谢
User-agent: *
Disallow: /storage/
Disallow: /data/
Disallow: /so?
Disallow: /so_article?
Disallow: /so_product?
Disallow: /404
Disallow: /*？*
404可以去掉了
###404去除掉
###把站发出来看下才知道,因为目前不知道你的站有没有做静态页面,如果还是动态的 就把Disallow: / * ? * 去掉就可以了 如果是静态的 就要看别的了 目前可以排除的只有404 以及data storage 除非你是把文章页放在这几个根目录下了 所以把站发出来
###Robots 文件也就那样吧 百度该抓取的还是能抓取 只不过不传递权重这些！说重要也重要，说不重要也不重要~~~
###404这个去掉吧
###只要Robots文件中你没有屏蔽你的文章页文件夹就ok，还有如果你会编写robots也可以去自动生成，404这个应该不是网页中有个404文件夹吧，如果你这个是404页面不用屏蔽，如果是404死链接，是通过做404死链txt提交处理，因此 404在这块没必应存在
###没问题
###来学习来了
###把404去掉
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/82107.html
