如果把sitemap.xml写进了robots.txt里，那蜘蛛是不是就只爬sitepmap里

作者：神马搜索 • 时间：2020-03-09 • 问答 • 来源：http error 503 • 阅读

[导读]：不知道你说的是什么意思，Sitemap写进Robots是有封禁吗？没封禁肯定会爬，不仅是Sitemap里面的链接，其他链接也会来爬。 ### 也是有机会爬的 ### 不会的，也会爬 ### 不会的，一样...

不知道你说的是什么意思，Sitemap写进Robots是有封禁吗？没封禁肯定会爬，不仅是Sitemap里面的链接，其他链接也会来爬。