[导读]：优先抓取首页 ### 应该是其他原创不够，转载采集内容多，我就遇到这情况 ### 爬虫优先抓取权重高的页面，至于为何总抓取首页，一般就是现在网站已没什么新内容可抓的 ###...
优先抓取首页
###应该是其他原创不够，转载采集内容多，我就遇到这情况
###爬虫优先抓取权重高的页面，至于为何总抓取首页，一般就是现在网站已没什么新内容可抓的
###那你可能就这个网页有东西抓，其他网页没有，不抓取你这个，抓取哪个
###我的都不知道怎么查看呢
###你可以Robots屏蔽它。
###你这个IP不是百度蜘蛛啊，是网络蠕虫在扫描，很正常，有时一天扫几千次的
百度IP段：
（百度蜘蛛电信段IP）
（百度蜘蛛联通段IP）
*
*
*
*
*
*
*
*
*
*
首页权重高些
###不清楚 看看大佬怎么回答的
###咱也不懂，过来学习下
###或许是好事
确实，因为你别的页面没什么可抓的
###不懂
###我之前也是这样，给网站做了301，和URL标准化就好了
###首页的权重比内页要高，所以会一直抓取首页
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/100696.html
