之前有个站我专门测试了下百度投诉这个问题。之后1个月网站一直处于几个快照的情况。 这个排名是这个快照。另外一个词又是一个快照。site又是这个快照。 甚至site的时候都出现2个快照。是什么情况?
robots的问题。
我在网站做好前。因为要填充内容 小的修改。所以我在网站还没上线前就写了屏蔽所有蜘蛛的robots的命令。禁止收录“/”的所有内容,可是当我做好后,修改robots后再提交百度 快照出来既然是我之前做的一个简单的网站上线页面。请问 难道百度搜索不遵从robots的命令吗?其他搜索引擎都未出现这个问题。
首先,一个网页存在多个百度快照是正常情况,特别是使用不同指令查询时;
其次,Robots文件屏蔽全站时,百度可能会暂时出现以前的网页快照,这种原因是数据库缓存更新造成的,具体原因如上,由于缓存库里有多个快照,百度没大更新之前,会暂时放出之前的快照。
ps:这个问题我今天也发现了,因为新站要修改,所以前天暂时屏蔽全站,今天过来一看,所有的快照除了本身正常的网页外还出现了以前改版之前的页面。
另外,搜索引擎并不一定会遵循robots命令,首页以下的页面可能不会被抓取,但是首页被抓取的可能性较大,看看淘宝首页,包括我之前在建站期间,虽然屏蔽全站,但是首页依然会被抓取,个人觉得,这是搜索引擎为了用户体验的原因,抓取首页只是类似于导航的效果。(假如很多人在百度上找不到淘宝,相信有很多人都不再想用百度了吧)
------------------------------------------------分割线-----------------------------------------
哎,写的好乱,我在说什么呢~~~
我想问下Robots.txt文件里面如果加上Sitemap的话格式是什么?多个Sitemap的格式又是什么?Sitemap: ?
###百度为了降低抓取网页的成本以及提高效率,会有多个蜘蛛进程,对网站进行抓取;每个蜘蛛抓取的时间可能不一样,对应的建立的数据库也页面(也就是快照),的时间就不一样了
###百度快照不是已经取消了啊
###一、百度快照已经退出历史舞台
二、Robots文件,百度从来都是无视的。
百度快照现在讨论无意义
百度蜘蛛不是招之即来,挥之即去。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/33833.html