[导读]：网站：http://www.80nb.com 问题1：在ROBOTS中已经屏蔽了路径，为什么百度蜘蛛还会抓取？ 也许是数据还没同步，之前蜘蛛访问就继续，还可能是蜘蛛访问的是你之前访问过的链接，...
网站：http://www.80nb.com
问题1：在ROBOTS中已经屏蔽了路径，为什么百度蜘蛛还会抓取？
也许是数据还没同步，之前蜘蛛访问就继续，还可能是蜘蛛访问的是你之前访问过的链接，还可能跟你之前发过的外链有关系， 正好蜘蛛在外部抓到了这些链接 就又把蜘蛛引进网站了。
###这是什么分析日志啊？
###屏蔽蜘蛛还会正常抓取，但是搜索引起不会把这些文件给放出来。所以也不用担心！
###这个分析日志的软件是光年吗?
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/49377.html
