[导读]：百度蜘蛛抓取robots.txt文件，正常返回的状态码是什么？ 最近网站日志中百度抓取robots.txt文件的时候，有的返回是200；有的返回是301，甚至还有返回404的。这是正常的么？为什么...
百度蜘蛛抓取robots.txt文件，正常返回的状态码是什么？
最近网站日志中百度抓取robots.txt文件的时候，有的返回是200；有的返回是301，甚至还有返回404的。这是正常的么？为什么会出现这种状况？
以搜外为例子：
从 www.seowhy.com/Robots.txt 抓取的话，返回200是对的；
从seowhy.com/robots.txt 抓取的话，返回301 是对的；
如果是返回404，那估计那会儿网站打不开。
学习中
###虽然不是很清楚，但是觉得你的说法有点小问题
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/29380.html
