[导读]：发现网站有许久之前竞争对手挂的恶意外链，比如在博客大批大批的刷网站的一个死链接，还有在一些问题严重的网站，甚至yellow网站挂的都有，我查的时候给我吓了一跳，赶紧...
发现网站有许久之前竞争对手挂的恶意外链，比如在博客大批大批的刷网站的一个死链接，还有在一些问题严重的网站，甚至yellow网站挂的都有，我查的时候给我吓了一跳，赶紧把浏览器给关了.....
Robots是屏蔽你自己的网站一些内容不想被抓取的
###Robots是不能屏蔽外链的，这个文件是告诉蜘蛛网站哪些东西可以抓取，哪些文件不能抓取。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/46502.html
