[导读]：大型网站一天抓取频次大概在15W到20W次左右，404页面每天大概在7000-1W左右，404是否偏多？需要怎么处理？404页面抓取频次，因为网站是偏社区，有很多的广告页面需要删除~所以...
大型网站一天抓取频次大概在15W到20W次左右，404页面每天大概在7000-1W左右，404是否偏多？需要怎么处理？404页面抓取频次，因为网站是偏社区，有很多的广告页面需要删除~所以难免会产生大量的404。
广告页的目录屏蔽得了，广告页面蜘蛛抓取没啥作用！
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/37078.html
