首页 > 问答 > 为什么robots.txt中禁止抓取的文件,也能被百度蜘蛛抓取。谷歌蜘

为什么robots.txt中禁止抓取的文件,也能被百度蜘蛛抓取。谷歌蜘

[导读]:这有很多种可能,比如: 1、时间问题 2、Robots书写是否正确 3、辅助操作 这个问题,需要提供禁止和抓取的证据(截图),然后大家看下究竟是什么具体情况,可能是什么问题...

这有很多种可能,比如:
1、时间问题
2、Robots书写是否正确
3、辅助操作

这个问题,需要提供禁止和抓取的证据(截图),然后大家看下究竟是什么具体情况,可能是什么问题造成的……

###

第一 是时间问题,

第二 可以用百度站长工具验证一下Robots 正确性

第三 就算禁止正确,百度也会抓取的,很多时候在搜索引擎中只显示标题部分。

###

真相就是现在国内几大并不像以前严格遵守Robots了,你相信吗?不管你信不信,我反正是不信

###

去后台更新Robots,如果百度检查到你的ROBOTS是封禁状态会每天提醒你,如果没收到提醒说明百度没有访问最新的ROBOTS.txt,自然还会继续抓取。

###

百度就是这么吊

###

如果你屏蔽那个页面有外链引入的话也是会被百度收录的。

###

Robots.txt文件从新设置,为了让百度尽快识别,你去百度站长平台验证网站,让后更新下robots文件。

###

百度识别比较慢,之前是容许的吧,过段时间再看

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/58500.html