[导读]：网站上线前对URL做了统一规范（之前程序开发没注意），所以log日志里面发现蜘蛛一直在抓上线前程序没注意的链接，这是为什么？ 抓取也是正常的，毕竟是真实存在的页面。...
网站上线前对URL做了统一规范（之前程序开发没注意），所以log日志里面发现蜘蛛一直在抓上线前程序没注意的链接，这是为什么？
抓取也是正常的，毕竟是真实存在的页面。
直接用Robots.txt屏蔽那些URL即可。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/35193.html
