[导读]：这是百度抓取的目录图片 1、你这个Robots.txt要放在根目录下。 2、屏蔽之后几天还是会抓取，但不会放出。 过一个月会再也不抓取了。 ### 蜘蛛访问你的网站，不是从Robots.txt文件...
这是百度抓取的目录图片
1、你这个Robots.txt要放在根目录下。
2、屏蔽之后几天还是会抓取，但不会放出。
过一个月会再也不抓取了。
蜘蛛访问你的网站，不是从Robots.txt文件开始访问的撒。所以难免会抓取到你不想让他抓取的页面，但是读取到了robots.txt文件之后就再也不会抓取了！
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/34604.html
