首页 > 问答 > 我的网站用DZ3.2做的,网站用了静态化,robots加上什么才能屏蔽

我的网站用DZ3.2做的,网站用了静态化,robots加上什么才能屏蔽

[导读]:网站现在的robots是 # robots.txt for Discuz! X3 # User-agent: * Disallow: /api/ Disallow: /source/ Disallow: /install/ Disallow: /template/ Disallow: /config/ Disallow: /uc_client/ Disallow: /uc_server/ Disallow: /static/ Dis...

网站现在的robots是

#

robots.txt for Discuz! X3

#

User-agent: *
Disallow: /api/
Disallow: /source/
Disallow: /install/
Disallow: /template/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /static/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /home.php?mod=spacecp*
Disallow: /userapp.php?mod=app&*
Disallow: /?mod=misc
Disallow: /?mod=attachment
Disallow: /mobile=yes

我site看见很页面既收录了静态化的页面同时又收录了动态页面,有很多带问号的页面,
另外,比如首页收录了 www.111111.com 和类似于于www.111111.com/portal.php及www.111111.com/portal.php?aid=1426,我只想百度收录www.111111.com这个页面,其他的都不被收录,
请问robots要加上什么?

Disallow: /这样就可以屏蔽网站所有URL里面带?的链接。(?的应该用星号符包含,这里打不出来。)
首页的链接最好是都不要屏蔽,做好首选域和绝对地址即可。

###

貌似现在的动态URL是类似这样的 http://域名/Disallow: /* 这样就可以屏蔽动态URL了。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/36499.html