首页 > 问答 > wordpress的蜘蛛爬虫记录都是抓取chineseurl.php,而且很多404(悬赏

wordpress的蜘蛛爬虫记录都是抓取chineseurl.php,而且很多404(悬赏

[导读]:如标题所示,网站是wordpress系统,使用chineseurl.php进行url伪静态处理。 看了日志记录,基本都是在抓取chineseurl.php这个文件,而且状态码很多404,也有200,请问这个有影响吗?有...

如标题所示,网站是wordpress系统,使用chineseurl.php进行url伪静态处理。

看了日志记录,基本都是在抓取chineseurl.php这个文件,而且状态码很多404,也有200,请问这个有影响吗?有的话如何解决。谢谢!

在百度站长工具里面看“抓取异常”,基本正常,没有什么错误。

网站是http://www.easysofts.com.cn[?]

QQ截图20180905161944QQ截图20180905161700

站长工具里面看“抓取异常”,基本正常,没有什么错误。  那就没问题。一切以百度认为的为准,百度都觉得正常了,你还担心什么。

还有,日志里面的蜘蛛,一点参考价值都没有,很多都是假的。

###

感觉完全不用关注这方面

###

影响不大 坚持下去

###

首先你要去确定这个404页面的是否是真正的百度蜘蛛,现在有很多IP伪装成百度蜘蛛前来抓取网站。比如我网站每天就会有很多这种假蜘蛛。

###

有影响的,还是屏蔽掉吧

###

WordPress程序为什么不用伪静态规则,多简单的事。有个老帖https://ask.seowhy.com/question/9152

###

如果是没有实质性的内容的URL路径,建议直接屏蔽抓取就行。一般影响不大。

###

屏蔽就好了

###

是有影响的,百度对一个网站派去的蜘蛛是有限度的,这些蜘蛛抓取了这些404页面,相对的抓取正常内容页的机会就会减少,会影响收录。用Robots屏蔽掉就可以了。

###

影响不大的

###

可以用 Robots 屏蔽一些没有必要的404,然后,做好404页面

###

最怕的是有死链接!

###

你这个页面自己测试下 我进去这个页面是无法打开的。那就是一个死链接了。如果没多大影响可以删除。

###

把404页面到百度站长平台提交一下就行,问题不大,这个文件打开是404,所以也一并提交吧。有些是404,然而你站内是没有的就可以用Robots屏蔽一下。

1

###

可以不用管的,因为404也是页面

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/55208.html