首页 > 问答 > 网站95%的蜘蛛都是谷歌,禁了也没用?

网站95%的蜘蛛都是谷歌,禁了也没用?

[导读]:谷歌爬了robots,还是大量爬取其他内容,htaccess能做屏蔽吗? 在Robots.txt里可以屏蔽指定的蜘蛛,可能是你的robots.txt没写正确...

谷歌爬了robots,还是大量爬取其他内容,htaccess能做屏蔽吗?

在Robots.txt里可以屏蔽指定的蜘蛛,可能是你的robots.txt没写正确

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/69920.html