小弟建站时间不长，因为url配置不当，最近出现了个问题，希望可以帮助一下

简单说就是好几个页面，两个url都能打开

一个是伪静态url，另一个是那种带?之类的动态url

我网上找了下，说是这样对权重不好

我想问下

1，我想屏蔽掉蜘蛛对动态url的抓取，只能让蜘蛛抓取这个伪静态的url，怎么去做

2，我知道robot.txt可以屏蔽，但是这个法子，一些蜘蛛可能并不遵循，因为我是vps里面建的，使用的是lnmp,

所以，lnmp应该怎么屏蔽

另外，关于那个动态url的问题，我这里有个地方不明白

3，是不是动态URL里面那个?之类的符号越多，蜘蛛就越难抓取到

4，我看很多网站的链接url里面有比如：www.abc.com/cat/之类，这个cat是干啥的？

谢谢，问题比较多，

去提交删除动态页面的快照。

你可以看下我的网站，也是新做的，伪静态的形式 51餐饮加盟网   

/cat/  这种是人家的目录形式，想要去掉?  你就在访问的时候  让对应的直接跳转到伪静态或直接让404，只保留伪静态形式，比如：

  跳转   

不要用thinkPHP之类的劣质框架开发的系统，不然很容易出现这种问题

楼上的说的，动态静态都一样， 

我不同意哦~

Robots禁止动态页面还是很不错的，你说的有些蜘蛛不遵循，那是垃圾蜘蛛，想百度、360、谷歌和搜狗这些大型的搜索引擎，都会遵循robots协议的，所以关于有些蜘蛛不遵循的问题你多虑了。

1、如果用robots文件屏蔽动态链接，在你根目录下创建一个robots.txt文件，文件里面的内容是

User-agent: *

Disallow: /*?*

不管你用的lnmp还是什么，找到根目录上传这个robots文件就可以。另外百度站长后台是可以检测这个的，如下图：

2、百度现在也能抓取动态链接，只是百度抓取静态页面的效果要好一些，另外用户看着静态页面也舒服。

3、网站有一个cat之类的，其实想这种的，大部分应该是用的WordPress程序，这个目录在后台是可以取消的。他们没取消，那是优化的问题。如果你也遇到这个，我建议你也取消，对优化是有好处的

问题一个一个的回答吧，有些描述的问题，其实不是很准确，不知道我的理解和你说的是否一样，还有问题再问吧

1、cat  这个是栏目的意思，网站域名指向的其实是程序的根目录，/cat/  是指这个根目录下面的cat文件夹

2、动态链接抓取问题，怎么说呢，除非你网站设置上有问题，否则现在没有太大的区别，现在整体技术都发展的很先进了。

3、robot.txt 这个和环境无关的，正确配置就好了。配置完成后，可以上网测试一下。

4、首先整体网站里，内链全部都是静态链接，不能出现动态链接。其次在robot这里，把所有的带？号的链接都禁止抓取。

大体就这些吧，改动之后，需要一段时间来进入正常状态