首页 > 问答 > 百度爬虫不爬内页(悬赏4元)

百度爬虫不爬内页(悬赏4元)

[导读]:网站响应速度过慢,内容层级太深、内页入口太少等,都是影响蜘蛛抓取的因素。找到问题加以改善。即可 ### 站内更新内容了吗,如果不更新蜘蛛也是不爬取的原因之一 ### 我...

网站响应速度过慢,内容层级太深、内页入口太少等,都是影响蜘蛛抓取的因素。找到问题加以改善。即可

###

站内更新内容了吗,如果不更新蜘蛛也是不爬取的原因之一

###

我也是这样,百度不收录。然后我有一次修改内容,第二天就收录了。我第二天尝试修改很多内容,第三天只收录了几条,不过你还是可以试试的

###

新站吗?

###

URL结构设置是否合理?网站地图是否合理?网站是否有蜘蛛陷阱?

###

兄弟,你试过把首页与内页相互链接到一起,然后把首页链接加Nofollow标签防止首页分散权重,最后将其放到蜘蛛池里看看有用吗?

###

对不起,我这些页面试试引蜘蛛,各位见谅,跪谢。

###

1、页面前端内容生成是否是JS、AJXA加载展示;

2、网站什么时候上线,内容伪原创怎样、内容是否属于敏感词?

3、页面是否存在大量的JS或CSS代码,导致页面体积过大,又或者外部调用,导致爬虫无法渲染,无法抓取主题内容?

4、内容页是否在首页又入口?

###

1、首页、二级目录页增加入口

2、扔到蜘蛛池试试?

###

更新下服务器的带宽

###

三个月之后就好了

###

新站的话 这个现象持续几天比较正常

不是新站建议加一下百度自动推送,或者手动在站长平台提交网址。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/49094.html