百度蜘蛛老是抓取连接末尾少个斜杠,返回状态404,怎么破?
[导读]:比如网站正确的伪静态路径: /404/ 而百度蜘蛛抓取的时候则抓: /404 由于伪静态是带斜杠的,所以这是蜘蛛抓取就是404返回状态码了! 这到死是什么情况,有知道的吗?...
比如网站正确的伪静态路径: /404/
而百度蜘蛛抓取的时候则抓: /404
由于伪静态是带斜杠的,所以这是蜘蛛抓取就是404返回状态码了!
这到死是什么情况,有知道的吗?改怎么破?
我也是这个问题,虽然做了301,但是还是总爬取不带/的链接 ,老哥解决了么?
###把没有反斜杠的301到有反斜杠的URL上面。改成301状态肯定要比404要好很多。
你肯定是有入口,页面上有入口?主动推送?网站地图Sitemap?实时推送?
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/52492.html
