[导读]：这很正常，即使现在是404，也会持续抓一段时间，直到一定的时间后还是404，就不会抓了。 试想一下，假设现在你一不小心删掉了一个重要栏目，正好蜘蛛这时抓了，返回的4...
这很正常，即使现在是404，也会持续抓一段时间，直到一定的时间后还是404，就不会抓了。
试想一下，假设现在你一不小心删掉了一个重要栏目，正好蜘蛛这时抓了，返回的404。然后你发现误删，赶紧恢复了这个栏目。蜘蛛却因为上一次抓取是404，以后永远都不来抓取了。你觉得这样合适吗？
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/41965.html
