[导读]：今天更新了一下robots文件，就添加了两行，会不会影响蜘蛛爬取 只写你不想让蜘蛛抓取的页面就行了 ### 看你修改的是什么内容了 ### 有时候写了跟没写一样 哈哈 ### 没有屏蔽...
今天更新了一下robots文件，就添加了两行，会不会影响蜘蛛爬取
只写你不想让蜘蛛抓取的页面就行了
看你修改的是什么内容了
###有时候写了跟没写一样 哈哈
###没有屏蔽蜘蛛就没什么影响
###对原来的规则没有调整 那是没影响的
###如果禁止蜘蛛就会
###
应该不会有影响的
###看你在上面写什么了，一些优化的页面不要禁止爬行和抓取就行。
###不影响啊，你没有禁止蜘蛛就行
###只要你没在Robots.txt 里写入禁止爬取你想优化的界面就行！
###对原来的规则没有调整 那是没影响的
没有屏蔽IP应该不影响
###昨天刚改了，今天蜘蛛没有来
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/65834.html
