[导读]：请问，我的网站为什么每天都有大量的相同URL有这种情况？这种情况怎样导致的？该如何解决，希望大家能帮忙看看。 先确定是真正的蜘蛛爬取的吗 用nslookup ip. 然后在看一下...
请问，我的网站为什么每天都有大量的相同URL有这种情况？这种情况怎样导致的？该如何解决，希望大家能帮忙看看。
先确定是真正的蜘蛛爬取的吗
用nslookup ip.
然后在看一下,其他原因.
蜘蛛对这个页面频繁的重复抓取造成的。
到百度站长平台调整一下蜘蛛对该页面的抓取频次。
如果不是很重要的话可以在robors.txt先屏蔽一下。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/34882.html
