WordPress站点，发现搜狗的蜘蛛总是非常二的去爬不存在地址，我设置了固定链接www.aaa.com/%post_id%.html，但是搜狗总去/?p=108023162和archives/108023162.html。应该怎么办，在线等，下面是爬的日志。

Line 12952: 106.38.241.184 - - [15/Dec/2018:09:15:37 +0800] "GET /?p=108023162 HTTP/1.1" 404 16130 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

Line 12952: 106.38.241.184 - - [15/Dec/2018:09:15:37 +0800] "GET /?p=108023162 HTTP/1.1" 404 16130 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

地址比较规则的Robots屏蔽，同时添加404页面就可以

Robots屏蔽下，让它不要爬就行了

这个不管 做个404 能够返回就可以了

Robots禁掉这个不存在的URL

这个是正常的，只要网站有蜘蛛来就可以了，每天定时更新

1、添加Robots文件，内容格式可以参考百度站长规则

2、建议从服务器上面把服务器日志下载下来，用爱站服务器日志分析，能清楚的看到抓取量，抓取页面，停留时间，等数据。

3、如果屏蔽了还是会怕不存在的页面的话就做个404页面，这样就不会导致流量跟蜘蛛的流失。

如果您对我的回答满意，望采纳为最佳答案

他爬就让他去爬，爬够了就不去爬了...额。

禁止蜘蛛爬啊

。。你看看源代码里面有没有  FTP文件夹里面