百度一直抓取一个没有意义的js，抓取量占90％，怎么处理？
[导读]：百度一直抓取一个没有意义的js，抓取量占90％，怎么处理？robots无效，nofollow无效，如何禁止百度抓取一个文件或者如何做到将js文件声明404？ Robots对于百度来说是没有用的，百...
百度一直抓取一个没有意义的js，抓取量占90％，怎么处理？robots无效，nofollow无效，如何禁止百度抓取一个文件或者如何做到将js文件声明404？
Robots对于百度来说是没有用的，百度他名义上遵守这个协议，但是实际是不遵守的，我自己的站
前期刚开始创建的时候，已经做了robots屏蔽了所有搜索引擎，不过还是被百度抓走了首页，还可以通过爬取痕迹看到百度蜘蛛已经爬取过首页
如果你不想让他抓的话，可以去提交链接，在百度工具里面
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/44936.html
