[导读]：比如，正常情况下是 页面上有个超链接，蜘蛛爬取然后抓取，加入如果我有一个链接是XXX.com/aaa.html 而这个链接没有放在任何页面只有直接输入地址才能访问，那么搜索引擎会自...
比如，正常情况下是 页面上有个超链接，蜘蛛爬取然后抓取，加入如果我有一个链接是XXX.com/aaa.html 而这个链接没有放在任何页面只有直接输入地址才能访问，那么搜索引擎会自动算出aaa.html 这个字段然后实现抓取吗？
不加超链接也能抓到啊，从首页进爬完结束，不管你用什么技术只要用户能看到的蜘蛛都可以抓取
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/71845.html
