首页 > 问答 > robots文件中到底要不要屏蔽JS和css

robots文件中到底要不要屏蔽JS和css

[导读]:我看了网站日志,发现蜘蛛抓取了好多JS。我想这些可不可以屏蔽掉。 我的建议是没必要。 理由: 1. 没有证据证明蜘蛛爬行JS和css之后,会减少爬行网页的机会; 2. 如果得通过...

我看了网站日志,发现蜘蛛抓取了好多JS。我想这些可不可以屏蔽掉。

我的建议是没必要。
理由:
1. 没有证据证明蜘蛛爬行JS和css之后,会减少爬行网页的机会;
2. 如果得通过屏蔽js和css来让其他网页得到抓取的话,那网站也够差的;
3. 搜索引擎分得清什么是js、css和什么是网页。

###

不用

###

·没必要的吧

###

学习

###

学习 学习

###

理论上来说可行,蜘蛛来访网站主要是看网站内容,也就是文字。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/83879.html