商品分类链接http://www.15lou.net/category-6.html[?]

但是由于不同属性产生了不同的链接但是是同一个页面title也是一样。这几天分析了网站日志蜘蛛一直在抓取这些页面，请问除了程序问题能怎么解决呢？robots能屏蔽吗怎么写？

http://www.15lou.net/robots.txt[?]  我robots这样写

User-agent: *

Disallow: /*-b*

Disallow: /*?*

Disallow: /*.html#*

但是分析网站日志还是一直在抓取跪求解决方法！！！还有也在抓取动态链接求解求详细方法！不甚感激！！！网站除了首页其他页面都不收录了。

代码太乱 看着就不好

同一个页面，不同的链接，这个确实是个问题，对收录很不利，链接的问题可以找程序去修改，慢慢完善，一点点修改

很正常，很多CMS都会这样，同一个页面，不同的链接，结构上的问题，必须通过程序修改，不过不收录，肯定是其他原因造成的，抓取了不收录，也可能是页面的考核期没到

用Robots语法去屏蔽

以我多年的EC经验，EC的SEO这块真的很差，我现在的解决办法，见：，将EC生成纯静态