[导读]:我看了网站日志,发现蜘蛛抓取了好多JS。我想这些可不可以屏蔽掉。 我的建议是没必要。 理由: 1. 没有证据证明蜘蛛爬行JS和css之后,会减少爬行网页的机会; 2. 如果得通过...
我看了网站日志,发现蜘蛛抓取了好多JS。我想这些可不可以屏蔽掉。
我的建议是没必要。
理由:
1. 没有证据证明蜘蛛爬行JS和css之后,会减少爬行网页的机会;
2. 如果得通过屏蔽js和css来让其他网页得到抓取的话,那网站也够差的;
3. 搜索引擎分得清什么是js、css和什么是网页。
不用
###·没必要的吧
###学习
学习 学习
###理论上来说可行,蜘蛛来访网站主要是看网站内容,也就是文字。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/83879.html