[导读]：百度只爬取我网站的验证码和JS广告位，真实奇葩了。 况且我rebots.txt 已经限制爬行动态链接了。 求大神解释下。 如图： rebots.txt 文件： 爬行记录： Robots生效需要一些时间。...
百度只爬取我网站的验证码和JS广告位，真实奇葩了。
况且我rebots.txt 已经限制爬行动态链接了。
求大神解释下。
如图：
rebots.txt 文件：
爬行记录：
Robots生效需要一些时间。
并且百度蜘蛛有时对于robots文件会无视。
你看蜘蛛记录的这个用的是什么软件呀？
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/37302.html
