首页 > 问答 > 蜘蛛爬取很混乱,请教(悬赏3元)

蜘蛛爬取很混乱,请教(悬赏3元)

[导读]:网站是手机站,网站m.yinghuiyun.com 用光年日志分析软件分析,看到搜索引擎都是抓取的JS代码,而且不是一个独立文件里面的JS代码,这样我在ROBOTS文件里面也不好禁止掉。 问题...

网站是手机站,网站m.yinghuiyun.com

QQ截图20170710172812

用光年日志分析软件分析,看到搜索引擎都是抓取的JS代码,而且不是一个独立文件里面的JS代码,这样我在ROBOTS文件里面也不好禁止掉。

问题一:为什么会出现这样的情况,什么原因导致的?

问题二:怎么样可以解决掉这个问题的呢?

问题不大,你如果不想被抓去,直接整理成一个文档屏蔽掉它就行了

###

这种只是蜘蛛抓取,只要不放出来就没事,不用去刻意在意这些,

###

直接写到Sitemap里面,降低权重值。

###

这个没法解决 因为你的每个页面都带JS文件 只要爬你的首页它就会挨个去爬了,这个是没有问题的!没什么大惊小怪的事!

###

要引导蜘蛛不要爬去JS就可以了

###

我很少看蜘蛛的,撸起袖子就是更新,收录多多的。。。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/48347.html