[导读]：采用WordPress程序搭建的网站，在网站根目录也放了robot.txt文件，robot.txt文件写了禁止搜索引擎爬行主题目录下的文件，可是在网站日志中仍然看到爬行。请各位大神看看，是ro...
采用WordPress程序搭建的网站，在网站根目录也放了robot.txt文件，robot.txt文件写了禁止搜索引擎爬行主题目录下的文件，可是在网站日志中仍然看到爬行。请各位大神看看，是robot.txt写错了呢还是其他原因？谢谢各位！
robot.txt具体的写法
robots.txt for http://www.******.net
User-agent: *Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/
User-agent: Googlebot
Disallow: ///feed/
Disallow: ///*/feed/
User-agent: Baiduspider
Disallow: ///feed/
Disallow: ///*/feed/
Sitemap: http://www.*******.net/sitemap.xml
Sitemap: http://www.*******.net/sitemap_baidu.xml
日志中看到爬行的主题页面的内容，如图所示
其实这个东西百度也不可能那么严的，如果你限制的在你网站上有链接的话，也会被抓取，参考问答库
###到站长平台点击Robots选项中的“检测并更新”，一般两天恢复过来
###Robots生效一般需要1周到3周左右。
###Robots.txt有一定的生效时间的，一般是48小时。
另外，检测一下是否有错误的设置
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/77831.html
