[导读]：这一搜根本不遵守Robots协议，屏蔽了还照样爬，我的这个网站服务器都搞累了，愁， ### 可以屏蔽掉 这是 一搜 网址的 蜘蛛爬行日志。 只要你的网站 从第三方网站这里也就是...
这一搜根本不遵守Robots协议，屏蔽了还照样爬，我的这个网站服务器都搞累了，愁，
###可以屏蔽掉 这是 一搜 网址的 蜘蛛爬行日志。
只要你的网站 从第三方网站这里也就是 一搜
来的流量很少，完全可以屏蔽，节约空间的资源。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/51292.html
