首页 > 问答 > 究竟是什么原因,百度蜘蛛一直爬一个网站根本没有的目录?

究竟是什么原因,百度蜘蛛一直爬一个网站根本没有的目录?

[导读]:每天都会去看一下蜘蛛的爬行,发现最近发现一直在爬一个/ajax/的目录,但是这个上网站程序里是没有的,服务器里也是没有的,为什么能爬到这里?是因为网站曾经改版的原因...

每天都会去看一下蜘蛛的爬行,发现最近发现一直在爬一个/ajax/的目录,但是这个上网站程序里是没有的,服务器里也是没有的,为什么能爬到这里?是因为网站曾经改版的原因吗?但是如果这个目录现在都已经删除了,为什么还是会去抓爬这个目录?现在我robots里不让它爬了,但是究竟想问一下为什么会这么奇怪呢?www.ac128.com  uv平板打印机

路过看看

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/65029.html