首页 > 问答 > 百度抓了网站根目录没有的文件?

百度抓了网站根目录没有的文件?

[导读]:网站土工布tugongbu369.com,最近百度一直在抓一个叫card的文件,但是根目录并没有这个文件,然后robots.txt禁止了还是在抓,隔两天来一次,一词抓取2000次左右,然后查了路径是以...

网站土工布tugongbu369.com,最近百度一直在抓一个叫card的文件,但是根目录并没有这个文件,然后robots.txt禁止了还是在抓,隔两天来一次,一词抓取2000次左右,然后查了路径是以card/ShareLogin.asp?Id=3533结尾的,也访问不了,所以到底是个什么东西。

http://tugongbu369.com/[?]

2019-10-28_092606

,明显就是后台的登陆地址

Id=3533,可能是身份信息

意思是:有人尝试登陆后台进行暴力解锁。

伪装为:百度蜘蛛

你可以对照所说检查一遍就知道了。

###

习惯就好

###

Robots文件禁止抓取不是百分之百能保证的不抓取的,搜索引擎也有自己的爱好抓取

###

RobotsRobots.txt设置好了之后去百度的站长里面提交一下,这样能快些。+1

###

百度提交Robots有些时候检查不到,但360可以

###

这个可能是伪装的搜索引擎进行抓取的吧,并且即使搜索引擎频率也不会这么大,基本可以判定未攻击了,可以查查访问ip

###

站长后台提交下Robots

###

这也太专业了,看不懂,等大神吧

###

RobotsRobots.txt设置好了之后去百度的站长里面提交一下,这样能快些。

###

百度有自己的机制,会按照习惯抓取,不用理会他。百度抓取后,会根据状态码判断是否存在这个url。

百度还会抓一些  /dede/      /wp-admin/    等待。。。这些有的是织梦,有的是WP建站程序。这是百度识别你建站程序的一个方式。

###

你这个习惯就好了,而且Robots文件生效需要时间

###

Robots.txt生效需要时间吧,百度经常抓不存在的目录

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/91171.html