[导读]：想看一下网站具体收录了那些页面 用了抓爬工具：金花站长、爱战工具包，甚至是sitemapx网站地图工具， 只能抓取一个页面，检测抓取其他网站正常，我的网站是哪里出现问题...
想看一下网站具体收录了那些页面 用了抓爬工具：金花站长、爱战工具包，甚至是sitemapx网站地图工具，
只能抓取一个页面，检测抓取其他网站正常，我的网站是哪里出现问题了？
个人猜测是 是首页跳转到 webonstage/servlet/MenuServlet 的问题
另外，注意一下网站的图片太大了，加载时间太长了，考虑一下CDN等一些方案吧
把网站日志文件导出来，挨个分析下就知道蜘蛛爬取了哪些页面。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/43415.html
