首页 > 问答 > 小爬虫爬出来两个页面就爬不下去了!疑惑(悬赏3元)

小爬虫爬出来两个页面就爬不下去了!疑惑(悬赏3元)

[导读]:今天用小爬虫爬我网站的网站地图,发现就一条数据,怎么都感觉不对劲!老铁们用的都是什么工具啊,第三方在线网站生成工具求推荐呢 爬虫爬不通网站结构一定有问题。首...

今天用小爬虫爬我网站的网站地图,发现就一条数据,怎么都感觉不对劲!老铁们用的都是什么工具啊,第三方在线网站生成工具求推荐呢

QQ截图20170622162007QQ截图20170622161959

爬虫爬不通网站结构一定有问题。首先页面是否是静态页很重要,其次网站结构逻辑是否清晰,网站地图是否顺畅。这些做不好爬虫爬不出来,谈何收录!,这个网站不错,能不能交换个链接!!

###

工具只是一个辅助性的东西,其实只要内容各个方面优化到位了。搜素引擎会喜欢的。老铁

###

用 SiteMap X 吧,就像楼上说的一样,网站地图最好是能定期更新,搜索引擎会认为友好

###

定期更新网站Sitemap对于搜索引擎来说是友好的表现,建议使用第3方xml网站地图生成插件,因为不知道楼主用的什么CMS,所以不好给推荐,但确定的是各cms基本上都有相应的Sitemap生成插件。希望这个回答能帮的上你,嘿嘿

###

别太在意这些工具给的结果,看真实收录情况

###

我也碰到过,像我的网站

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/67494.html