[导读]：蜘蛛为什么会爬取不存在的页面和栏目，还有历史页面明明很早已经删除了显示还在爬取 写好蜘蛛协议吧 ### 不想让 它爬就加进Robots里面，屏蔽这些页面 ### 其实页面还存在 只...
蜘蛛为什么会爬取不存在的页面和栏目，还有历史页面明明很早已经删除了显示还在爬取
写好蜘蛛协议吧
###不想让 它爬就加进Robots里面，屏蔽这些页面
###其实页面还存在 只是你把入口给删了
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/89945.html
