[导读]：像这种url第二层被禁止抓取的，会影响到第三层的抓取吗？ 比如https://www.360lj.com/zhuanti/ [?] 被禁止抓取，但是https://www.360lj.com/zhuanti/2018dc-11/dp/jg/ [?] 在站长平台上可以正常抓取是...
像这种url第二层被禁止抓取的，会影响到第三层的抓取吗？
比如https://www.360lj.com/zhuanti/[?]被禁止抓取，但是https://www.360lj.com/zhuanti/2018dc-11/dp/jg/[?]在站长平台上可以正常抓取是怎么回事？
这个是服务器端的无法访问，并没有屏蔽蜘蛛，所以蜘蛛还是可以抓取，至于下级的内容，如果有入口就能找到
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/59466.html
