前提条件：网站禁止一切搜索引擎抓取。
刚开始的时候百度会出现标题，描述为：由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述 - 了解详情。现在标题变成go to ai.cn。（为了用户体验？）
360的情况是，刚开始显示网站标题和描述。经过2周时间标题仍然显示，但是描述已经变成:由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述 - 了解详情。看了360已经在一定程度上遵守robots协议了，刚开始显示标题描述证明已经抓取过了，不是应该先抓取robots才对嘛？百度也是如此。
我们再来看看谷歌，搜索ai。cn基本不出现任何有关信息。还是谷歌地道，严格遵守robots协议。
不知道说的清楚不清楚，对不对？各位评价下。

其实都遵守了，谷歌更彻底而已。毕竟国内和国外还是有差别的。国外版权保护比国内的要严格。