情况是这样的,例如我的网站是www.baidu.com
我会线上测试很多站提前更新资料,我把新站的域名解析为 01.baidu.com 或 02.baidu.com 或 03.baidu.com 等等
我现在有上百个这种了 ,但是都会提前被收录。我这边要求是不能被收录的!
我想另外申请个域名 然后解析子域名(02.baidu.com) 永远不会被任何搜索引擎收录!包括主域名也一样永远不被收录。
我用闭站保护但是只有百度可以,我想申请个特殊符号的域名但是也会被收录,跪求大神解决!
建立一个Robots.txt,把文件放到网页根目录就好了。现在我就以的举个例子,
user-agent:*(这个是可以允许引擎蜘蛛过来爬行)
Disallow:/www/(这个是代表了禁止蜘蛛访问这个文件夹的网页)
Disallow:/www/(同上)
----------------------------------------------------------------------------
Disallow:/www/(这个意思就代表了禁止引擎蜘蛛访问“www”文件夹的所有东西)
###这个太简单了,
###Robots.txt
###666
###其实很简单啊!
1、你可以用测试域名进行上传修改你的资料
2、在网站中使用Robots权限做义工禁止就行了
3、或者在服务器中屏蔽搜搜索引擎蜘蛛地址
WordPress的话,很方便禁止的,但是这个就看搜索引擎遵不遵守了。
###加Robots文件就可以了
###Robots 就行了啊,创建个robots.txt 然后上传到网站根目录,然后去站长工具那提交下就行了
###首页的话<meta name="Robots" content="noindex" />
###我也正在寻求解决问题,刚好看到你的问题,不妨试下Robots文件,禁止所有搜索引擎蜘蛛抓取,放在根目录下,什么时候需要它收录了,改robots文件,提交就可以了
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/46375.html
