[导读]：关于网站百度蜘蛛抓取的问题 百度来的蜘蛛90%都在抓取JS、css和图片。真心不知道怎么整了。 下面是这个5天的蜘蛛日志文件截图，用的是爱站工具。 9号 Robots.txt 文件进行屏蔽...
关于网站百度蜘蛛抓取的问题
百度来的蜘蛛90%都在抓取JS、css和图片。真心不知道怎么整了。
下面是这个5天的蜘蛛日志文件截图，用的是爱站工具。
9号
Robots.txt 文件进行屏蔽，也不可以吗？
屏蔽完之后，最好是去站长后台更新一下
要不你大胆一下，修改文件名，看看抓取量下降没有，同时多引导蜘蛛抓取其他的页面。
牛逼啊，这么多抓取，百度得有多喜欢你的图片儿啊
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/38240.html
