首页 > 问答 > robots文件里面禁止抓取二级域名,怎么写?

robots文件里面禁止抓取二级域名,怎么写?

[导读]:我在网站带www的主域名的robots加这个。Disallow:/* cy. saike. com *  是不是只会禁止蜘蛛抓取  cy.saike.com这个二级域名? 直接在二级域名的根目录下上传Robots文件,里面这样写: ...

我在网站带www的主域名的robots加这个。Disallow:/* cy. saike. com *  是不是只会禁止蜘蛛抓取  cy.saike.com这个二级域名?

直接在二级域名的根目录下上传Robots文件,里面这样写: 

User-agent: *

Disallow:/

因为二级域名也是单独的一个网站。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/45833.html