[导读]:这有很多种可能,比如: 1、时间问题 2、Robots书写是否正确 3、辅助操作 这个问题,需要提供禁止和抓取的证据(截图),然后大家看下究竟是什么具体情况,可能是什么问题...
这有很多种可能,比如:
1、时间问题
2、Robots书写是否正确
3、辅助操作
这个问题,需要提供禁止和抓取的证据(截图),然后大家看下究竟是什么具体情况,可能是什么问题造成的……
第一 是时间问题,
第二 可以用百度站长工具验证一下Robots 正确性
第三 就算禁止正确,百度也会抓取的,很多时候在搜索引擎中只显示标题部分。
###真相就是现在国内几大并不像以前严格遵守Robots了,你相信吗?不管你信不信,我反正是不信
###去后台更新Robots,如果百度检查到你的ROBOTS是封禁状态会每天提醒你,如果没收到提醒说明百度没有访问最新的ROBOTS.txt,自然还会继续抓取。
###百度就是这么吊
###如果你屏蔽那个页面有外链引入的话也是会被百度收录的。
###Robots.txt文件从新设置,为了让百度尽快识别,你去百度站长平台验证网站,让后更新下robots文件。
###百度识别比较慢,之前是容许的吧,过段时间再看
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/58500.html
