怎么让蜘蛛不要抓取重复的页面？

作者：百度分享代码 • 时间：2020-03-10 • 问答 • 来源：www it168 com • 阅读

[导读]：蜘蛛总是抓取网站的重复页面，怎样告诉蜘蛛不让抓取的页面，就不抓取呢？让蜘蛛抓取需要抓取的页面内容，我如何做呢？感谢回答。...

蜘蛛总是抓取网站的重复页面，怎样告诉蜘蛛不让抓取的页面，就不抓取呢？让蜘蛛抓取需要抓取的页面内容，我如何做呢？感谢回答。