[导读]:新建的网站开始写了robots.txt禁止收录文件,等网站备案下来后,就把robots禁止收录文件删除了,我用百度站在工具监测没有robots文件了,如图(1)。可是用抓取诊断工具监测,...
新建的网站开始写了robots.txt禁止收录文件,等网站备案下来后,就把robots禁止收录文件删除了,我用百度站在工具监测没有robots文件了,如图(1)。可是用抓取诊断工具监测,却显示Robots封禁。网站现在还没有收录,怎么回事呀,求众多大神帮帮忙。图(2)。看看这个网站现在一点收录都没有,好急呀@@www.hjuzi.com@@
建议你可以咨询空间商是否有IP封禁
同时排查是否网站程序有禁止搜索引擎索引的设置。
学习了
###别急,这种情况很常见,站长工具对301和Robots.txt 反应比较慢。
处理方法。
把删除的robots.txt 放回去,但是规则写成 允许抓取。
同时在站长工具后台在提交检查一下。应该就可以。
可能是你删除了robots.txt,造成空文件,结果站长工具的缓存没更新、
还有一个,就是收录慢不一定是robots.txt的问题,也可能是你站内内容问题,比如更新速度,内容质量,但是一般首页比较快,内页就慢一点了。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/40016.html
