我现在用ZBLOG的Sean_Cms模板,在空间日志查询的时候,发现有很多的404状态码,然后查看了下被访问的那个资源文件,发现都是如:
/themes/Sean_Cms/STYLE/Sean_img/g1-icon02.gif
/themes/Sean_Cms/SCRIPT/flash.js
/css/sean_code.css
这样的一些文件,可我在网站查看,都找不到这些文件。
请问:这对SEO有影响吗?是不是程序自带问题。
另外蜘蛛访问的痕迹上看,它访问我的robots.txt文件,状态码错误,可是我并没有放robots.txt文件啊 这个是怎么回事?
望在搜外的大神们帮帮忙。谢谢!
不用太在意这些问题,这些东西百度实际上都是不收录的,有的是在你网站原码中存在的链接,但实际上你的网站上可能并没有这种信息,有的时候百度也会收录CSS文件。在百度爬取的过程中,如果站内没有Robots文件的话,百度会默认爬取所有,而空间日志检查也是针对网页原码进行的记录,当你的网站内有这些原码,而没有实际文件时,自然会返回404代码了。只要你做好了404页面,基本上这些问题不用处理,搜索引擎会自己处理的。如果你不想让收录你的程序类文件建议给网站做一个robots文件。
另外蜘蛛访问的痕迹上看,它访问我的robots.txt文件,状态码错误,可是我并没有放robots.txt文件啊 这个是怎么回事?
针对于这个问题,你本身没有robots.txt文件,返回的状态码当然是错误了,因为百度根据找不到这个文件。一般搜索引擎在进入一个网站后,会自动去爬取这个文件的,如果没有话,他的返回码是错的。这些基本上不用太在意,实在觉得不好的话,那就做一个robots文件放里边。
robots是一个互联协议,一般搜索引擎都会尊重网站原创者的意见的,首先爬取robots实际上是对网站原创者的尊重,有与没有其实都无所谓,如果没有搜索引擎会自动按照原创作者自动愿意让爬取的来处理。
建议提交下死链,Robots并不是一个好方法!
###没什么影响,用Robots屏蔽掉即可,把不需要访问的目录文件夹全部禁止掉,不知道你的网站有没有改版过?如果改版过,爬虫会继续抓取以前目录的文件。
###做404页面,提交URL死链接,制作一个Robots.txt文档屏蔽404。Disallow: /
###如果是站内,找到相关的URL代码,删除之
做好404,Robots
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/43276.html
