首页 > 问答 > 各位大神帮我看看哪个robots文件才是对的写法?

各位大神帮我看看哪个robots文件才是对的写法?

[导读]:第一个这是我网站里面自带的robots文件 内容如下: Disallow./bin/ Disallow:/App_Data/ Disallow/Content/ Disallow:/Plugins/ Disallow:/Scripts/ Disallow./Administration/Content/ Disallow:/Administratin/Scripts/ Disall...

第一个这是我网站里面自带的robots文件 内容如下:
Disallow./bin/
Disallow:/App_Data/
Disallow/Content/
Disallow:/Plugins/
Disallow:/Scripts/
Disallow./Administration/Content/
Disallow:/Administratin/Scripts/
Disallow/Designer/Content/
Disallow./Designer/Scripts/
Disallow:/ebsiness/cart
Disallow./ebusiness/checkout
Disallow:/ebusiness/orderlist
Disallow./ebusiness/cof irmorder
Disallow:/ebsiness/orderdetail
Disallow./ebusiness/ orderpayment
Disallow./ebusiness/paviroffline
Disallow./ebusiness/paidsuccessfuuly
Disallow/ebusiness/cloSEOrder
Disallow:/ebsiness/getsulist
Disallow/ebusiness/ renderproductrecommentpartial
Disallow./customer
Disallow:/customer/index
Disallow./customer/login
Disallow./customer/logout
Disallow:/customer/ajaxlogout
Disallow./customer/aclogin
Disallow./customer/register
Disallow./customer/myaddresses
Disallow./customer/f indmypassword
Disallow./customer/myf avourite
User-agent:*
但是百度有排名的却是我网站预览的网址(三级域名) 而不是主域名https://www.ccassiey.com(甚至没有排名和文章收录)

后面这个是建站方给我的新的robots文件格式 如下:
User-agent:Googlebot
Disallow:/
User-agent:googlebot-image
Disallow:/
User-agent:googlebot-mobile
Disallow:/
User-agent:*
Disallow:
Disallow:/bin/
Sitemap:http://www.ccassiey.com/
sitemap.xml
后面这个翻译出来是有禁止谷歌机器人访问吗 如果是这样肯定不行 因为我国外谷歌排名特别好 那样的话肯定会影响到国外的收录和排名吧?

不是很懂 麻烦大侠帮忙看下 哪个才是对的

太多了

###

这个你只能自己去判断了,因为我们不知道你网站哪些需要蜘蛛抓取,那些不需要。
同步带轮行星减速机行星减速机厂家

###

都可以的,按照规则写

###

学习下蜘蛛协议的规则就好了

###

创建Robots.txt需要注意点:

1. 必须是纯文本robots.txt文件

 

2. 文件名所有字母必须是小写

 

3. 文件必须放在网站跟目录下

 

4. 文件内的冒号必须是英文半角状态

 

 

一、为什么要写robots.txt文件,它的作用是什么?

robots.txt是用来告诉搜索引擎网站上哪些内容可以被访问、哪些不能被访问。当搜索引擎访问一个网站的时候,它首先会检查网站是否存在robots.txt,如果有则会根据文件命令访问有权限的文件。

每个网站需要根据自身的要求写好robots.txt文件,robots.txt文件长什么样子?我们可以看看几个网站的robots.txt文件。

 

 

 

 

 

淘宝robots.txt文件

 

 

 

 

 

百度robots.txt文件

而一个网站为什么要写robots.txt,主要有四点:

1、保护网站安全

2、节省流量

3、禁止搜索引擎收录部分页面

4、引导蜘蛛爬网站地图

二、robots.txt的写法与步骤

1、定义搜索引擎

用User-agent:来定义搜索引擎,其中*表示所有,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛。

也就是说User-agent:*表示定义所有蜘蛛,User-agent:Baiduspider表示定义百度蜘蛛。

2、禁止与允许访问

Disallow: /表示禁止访问,Allow: /表示允许访问。

在写robots.txt时需特别注意的是,/前面有一个英文状态下的空格(必须是英文状态下的空格)。

3、禁止搜索引擎访问网站中的某几个文件夹,以a、b、c为例,写法分别如下:

Disallow: /a/

Disallow: /b/

Disallow: /c/

3、禁止搜索引擎访问文件夹中的某一类文件,以a文件夹中的JS文件为例,写法如下:

Disallow: /a/*.js

4、只允许某个搜索引擎访问,以Baiduspider为例,写法如下:

User-agent: Baiduspider

Disallow:

5、禁止访问网站中的动态页面

User-agent: *

Disallow: /*?*

6、只允许搜索引擎访问某类文件,以htm为例,写法如下:

User-agent: *

Allow: .htm$

Disallow: /

7、禁止某个搜索引擎抓取网站上的所有图片,以Baiduspider为例,写法如下:

User-agent: F

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

三、robots.txt文件存放位置

robots.txt文件存放在网站根目录下,并且文件名所有字母都必须小写。

四、特别注意事项

在写robots.txt文件时语法一定要用对,User-agent、Disallow、Allow、Sitemap这些词都必须是第一个字母大写,后面的字母小写,而且在:后面必须带一个英文字符下的空格。

网站上线之前切记写robots.txt文件禁止蜘蛛访问网站,如果不会写就先了解清楚写法之后再写,以免给网站收录带来不必要的麻烦。

robots.txt文件生效时间在几天至一个月之间,站长自身无法控制。但是,站长可以在百度统计中查看网站robots.txt文件是否生效。

 

###

卡丝

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/69946.html