[导读]:之前文章没收录,过了段时间,发现收录了,本想看下快照时间,结果发现是这样的内容。 如图所示好像是只抓起了一部分就没抓取了的感觉,可是最近网站的服务器都很稳定...
之前文章没收录,过了段时间,发现收录了,本想看下快照时间,结果发现是这样的内容。
如图所示好像是只抓起了一部分就没抓取了的感觉,可是最近网站的服务器都很稳定啊
还是说我的robots 把模板文件和css文件禁止抓取了,会有影响吗
我的也是啊,屏蔽了css和JS,但感觉其实没必要:
###百度说蜘蛛能抓取css文件所以没必要屏蔽
###你这个Robots写的真的是无敌!
Disallow: /plus/ad_Disallow: /plus/Disallow: /plus/Disallow: /plus/Disallow: /plus/shops_Disallow: /plus/Disallow: /plus/Disallow: /plus/Disallow: /plus/feedback_Disallow: /plus/mytag_Disallow: /plus/Disallow: /plus/Disallow: /plus/Disallow: /plus/Disallow: /plus/
有必要这样吗?直接Disallow: /plus/ 就可以了
但是你写成你这样是没错的,只是太多了,看着不舒服,一点错都没有!真的!
另外,ROBOTS禁止CSS完全不影响。快照他是模拟浏览器访问的,而不是简单的返回源代码。但,建议没事没必要禁止CSS,抓了又能怎么样?
###Robots.txt写的错综复杂,这样子不好
###会有影响 而且你的Robots.txt不要这样写, 真是太乱了。攻击和错误率太高了。
###百度只抓200k的内容。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/72603.html