[导读]：百度搜索引擎可以抓取到很多网站根目录没有的文件？返回的都是404，在根目录确实没有这种文件，求大佬指教？ 除了做404，也写进Robots吧，不然爬那么多没用的文件，降低了...
百度搜索引擎可以抓取到很多网站根目录没有的文件？返回的都是404，在根目录确实没有这种文件，求大佬指教？
除了做404，也写进Robots吧，不然爬那么多没用的文件，降低了蜘蛛的好感度
###没有就不用管 404也是你网站的一个页面
###既然做了404就无需多花心思，把通往404页面的链接Nofollow或者mate Robots
建议可以用日志分析工具查看下，是否是百度的蜘蛛。不正常的蜘蛛可以使用Robots文件来禁止掉，如果遇到流氓蜘蛛，比如最近的今日头条派出的蜘蛛，大家都反映它不遵守robots，可以百度下具体的封禁策略（内容比较多不展开讲），另外看是不是有之前的死链，整理一下，提交给百度，百度站长工具里面有死链提交。
###做好404，其他就正常优化把
###好像不行吧，我觉得楼上说的对，可能是假蜘蛛
###假蜘蛛，在试你的网站有没有漏洞。
###我的也是，Robots文件禁止了，然后抓的特别多我查了下是假的百度蜘蛛，但是我禁止对方IP了，还是被抓了，我也搞不懂
###做好404，正常优化。
###只要404做好，这个不会有影响的
###这个没事做好404页面，抓取的这些 是个网站都会有这个问题，也是是假蜘蛛爬去网站漏洞啥的。不用太在意 正常优化就行了
###应该是你的路径问题
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/91903.html
