以前我是不怎么看网站日志的，然后最近看了一下，结果发现那些蜘蛛都是乱爬的，很多网站根本没有的目录地址都会去爬取，所以我就想写了一个robots.txt给蜘蛛，然后把他们乱爬取的都给禁止了，然后又设置一些允许的规则，那些都是我网站会出现的一些链接。

求大佬们来看看：

User-agent: *

Disallow: /cache

Disallow: /images

Disallow: /inc

Disallow: /js

Disallow: /mdparse

Disallow: /player

Disallow: /template

Disallow: /k

Disallow: /.

Allow: /?m=vod-type-id-*.html*

Allow: /?m=vod-type-id-*-pg-*.html*

Allow: /?m=vod-detail-id-*.html$

Allow: /?m=vod-play-id-*-src-*-num-*.html$

Allow: /index.php?m=vod-search

Allow: /index.php?m=vod-list-id-*-pg-*-order-*-by-*-class-*-year-*-letter-*-area-*-lang-.html$

Allow: /?m=gbook-show.html$

Allow: /index.php?m=gbook-show-pg-*.html$

Sitemap: http://www.gqyyzx.com/index.php?m=map-baidu.html

Sitemap: http://www.gqyyzx.com/index.php?m=map-google.html

Sitemap: http://www.gqyyzx.com/index.php?m=map-360.html

这是网站：高清影院[?]

淘宝全面禁止蜘蛛抓取，百度照样抓取，自己体会。