[导读]：下载了sitemapx 如果今天制作了一批sitemap网址如何保证明天再抓取的时候没有重复网址被抓取，小爬虫什么的 我也没发现问题这方面相关处理方法 难道抓取日志会有记录么。...
下载了sitemapx 如果今天制作了一批sitemap网址如何保证明天再抓取的时候没有重复网址被抓取，小爬虫什么的 我也没发现问题这方面相关处理方法 难道抓取日志会有记录么。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/43953.html
