[导读]：刚无聊，搜索一下公司网站名，发现最近出现天猫梦芭莎的动态搜索结果页排名，如下图： 之前就一直是屏蔽抓取的，虽说是全部禁止的，但是也有漏网的时候， 我觉得title更...
刚无聊，搜索一下公司网站名，发现最近出现天猫梦芭莎的动态搜索结果页排名，如下图：
之前就一直是屏蔽抓取的，虽说是全部禁止的，但是也有漏网的时候，
我觉得title更改的原因是因为导入链接自动合成新连接，现在很多的淘宝客网站是不禁止百度抓取的，当淘宝客网站使用这个网站的时候就会出现这样的问题。
例如：搜狗浏览器通过淘宝客网站抓取了该页面，然后又被其他的抓取，最后经过百度检索的系统检索之后发现这个是新的，就有可能出来了！个人愚见！
百度搜索结果title的三种展现形式：
1.直接获取目标页面的title
2.提取目标页面的信息整合成title
3.通过目标页面导入链接的关键字整合成title
User-agent: Baiduspider被收录的天猫店铺太多了……
Disallow: /
User-agent: baiduspider
Disallow: /
百度不爬取这些页面，这些页面怎么会被收录呢？
ps：为毛我的搜索结果页和你的不一样，没有看到这个天猫页面###
只能说不是通过天猫进行抓取的，可能是有其他渠道的指向导致被抓取。
但是对于Robots的权威性，早就有所怀疑了！不至梦芭莎，出名的天猫品牌旗舰店都有被抓取的页面。
###
求解，我也不懂。
###其实老早前就发现了这个问题，我也不知道怎么解释，就是看度娘有收录天猫店的东西了
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/27663.html
