首页 > 问答 > 设置robots.txt,还是会被百度蜘蛛抓取

设置robots.txt,还是会被百度蜘蛛抓取

[导读]:robots.txt文档如下: 因为有外链的作用,比如你之前做了一些外链或友链等,过段时间看应该就不会出现了。 ### 可以加Nofollow noindex 不被抓取,不被索引 ### 首先百度理论上是按...

robots.txt文档如下:



因为有外链的作用,比如你之前做了一些外链或友链等,过段时间看应该就不会出现了。

###

可以加Nofollow noindex 不被抓取,不被索引

###

首先百度理论上是按照这个规则来抓取网页的,但是这只是针对主动地访问蜘蛛,如果你站外有一些网页做了外链,那么还有可能被其他蜘蛛抓取到,所以这个很正常

其次,百度有时候的确不按规则或者一次Robots书写效果变动很慢,2个月不算太长时间,慢慢等

最后,我看到你设置了Sitemap,这个在robots文件的优先级也是蛮高的,检查里面有没有你想屏蔽的链接,如果有去掉试试看

###

Robots.txt文件也是要蜘蛛遵从才有效的,但是很多时候会被无视。

###

正常,我的网站也是这个样子,不用太在意的。

###

正常,习惯就好了。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/34153.html