[导读]:查了日志,比如new/uploadphoto/20073141145178607.jpg这个,其实这个uploadphoto文件夹是并不存在的,其它页面肯定也没这个路径,但就是爬,然后返回404,而且还挺多的。这个域名是旧域...
查了日志,比如new/uploadphoto/20073141145178607.jpg这个,其实这个uploadphoto文件夹是并不存在的,其它页面肯定也没这个路径,但就是爬,然后返回404,而且还挺多的。这个域名是旧域名,三年前抢注的。如何处理,在对应文件夹搞一个对应的图片放上去?
关于蜘蛛抓取一些站点不存在的文件夹。这个是常有的。对于这一类的你可以屏蔽掉。
比如现在很多站点的结构目录是一样的如织梦,蜘蛛访问站点的时候就会尝试抓取是不是存在dede这个文件夹,但是我这边网站并不是织梦做的,所以蜘蛛也会试探性的去抓取站点内容。
Robots里面屏蔽不行吗?百度站长投诉。
###做404 错误页面吧
百度站长工具有个 网站改版
目录改版:支持当前站点的目录和子站点的目录,把此目录下的URL做改版处理。比如当前站点是 ,改版范围是 ,则会将 , 等URL做改版处理。
你可以试试
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/35484.html
