[导读]:用织梦的网站地图生成插件的时候发现一个问题,我有的文件夹里面的页面不想让蜘蛛抓,在robots里面屏蔽了 ,但是在生成地图的时候,地图上面还是会有那个文件夹里面的链...
用织梦的网站地图生成插件的时候发现一个问题,我有的文件夹里面的页面不想让蜘蛛抓,在robots里面屏蔽了 ,但是在生成地图的时候,地图上面还是会有那个文件夹里面的链接,有没有大神看看那个插件怎么让它不抓取哪个文件夹里面的页面呢?
这些都是我上传产品图片生成的页面,但是我这里面没有产品详情页,只是上传上去让列表页调用一下缩略图而已,这些页面里面都是空的。而且都是一样的重复页面,
我的网址是http://www.ssmatcha.com 地图是www.ssmatcha.com/sitemap.xml
Disallow:文件名
###本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/50478.html