首页 > 问答 > 伪静态网站怎么写robots协议

伪静态网站怎么写robots协议

[导读]:之前我们一直没有写robots协议,结果今天发现百度说我们全站封禁了百度。 现在我写了robots协议,允许所有搜索引擎能抓取所有页面,但是我总感觉不对。 我们网站是伪静态的...

之前我们一直没有写robots协议,结果今天发现百度说我们全站封禁了百度。
现在我写了robots协议,允许所有搜索引擎能抓取所有页面,但是我总感觉不对。
我们网站是伪静态的,如果是真实静态页面的话,我就写只允许搜索引擎访问html文件,但是这个是伪静态的,就是没有html文件,还有我们的网站的伪静态的重写规则是302跳转,就是把php文件临时跳转到了html文件,这样是不是对的?
总之,我该怎么写这个网站的robots协议。谢谢!
@@www.taojinke.cn@@

Robots 没问题。估计是百度自己抽风

关于你的另一个问题
爬行日志是基于物理结构的。基本都是会去爬你的PHP文件
以前用Ecshop的时候屏蔽过动态链接,就是所有带问号的都屏蔽掉,没有什么坏处也没看到什么好处,···硬要说好处就是不会有一大堆乱七八糟的链接被收录

个人看法:不要屏蔽,做成301 站内清楚下链接,看下哪里还有动态链接的入口

###

首先,你的Robots写法【如图】,是正确的,没有问题



本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/29637.html