[导读]:谷歌爬了robots,还是大量爬取其他内容,htaccess能做屏蔽吗? 在Robots.txt里可以屏蔽指定的蜘蛛,可能是你的robots.txt没写正确...
谷歌爬了robots,还是大量爬取其他内容,htaccess能做屏蔽吗?
在Robots.txt里可以屏蔽指定的蜘蛛,可能是你的robots.txt没写正确
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/69920.html