Google、yisou蜘蛛怎么构造访问一些我网站并没有的url？
[导读]：例如我网站url是这样的： ***.com/details-1111.html， 可是看日志，发现蜘蛛构造这样的url访问： ***.com/answer/1012， ***.com/answer/9789， .... 我网站并没有这种形式的url呀，蜘蛛怎么会这...
例如我网站url是这样的：
***.com/details-1111.html，
可是看日志，发现蜘蛛构造这样的url访问：
***.com/answer/1012，
***.com/answer/9789，
....
我网站并没有这种形式的url呀，蜘蛛怎么会这么做呢？
不太懂
###我是提问者，补充一下：
有意思的是，蜘蛛构造的这些url，来自于一个同行网站，那个网站就是这样的url。不知道蜘蛛这是想干啥。
返回的状态码呢？
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/95053.html
