首页 > 问答 > 百度爬虫是不是爬的有问题,还是我设置有问题,谢谢!

百度爬虫是不是爬的有问题,还是我设置有问题,谢谢!

[导读]:站是DISCUZ的,安装了百度的结构化插件和主动推送插件,还有亮剑SEO插件。我在亮剑SEO插件中的近期搜索引擎中发现,百度的爬虫总是爬我这个页面 http://域名/plugin.php?id=baidus...

站是DISCUZ的,安装了百度的结构化插件和主动推送插件,还有亮剑SEO插件。我在亮剑SEO插件中的近期搜索引擎中发现,百度的爬虫总是爬我这个页面

http://域名/plugin.php?id=baidusubmit:sitemapinc&start=1484064000&p=677aabxxxxxxx,加粗的数字是变化的。如图:

QQ截图20170113015922

但是这类页面有返回论坛部分帖子数据的,但是有大部分返回的是这样的

QQ截图20170113020029

请问各位大佬,这正常么?如果不正常,我该咋办……感谢各位百忙之中浏览我的问题,并帮我解答!给各位拜个早年!

其实你要打开这个链接就明白了,这个就是你的结构化插件生成的链接,用来提交结构化数据的。

###

这个参数应该是抓取ID吧?

###

我不是大神,我只是来帮你顶上让大神看到

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/45227.html