最近几天网站抓取频次大涨，但是有个头疼的问题，蜘蛛频频抓取一些php文件，该文件只是我程序的调用文件。我在robots文件里面已经禁止该文件的目录了，可还是抓取。导致网站内容抓取过少。

，

贴上robots:

User-agent:*

Disallow: /?*

Disallow: /api

Disallow: /cache

Disallow: /inc

Disallow: /inc/timming.php

Disallow: /player

Disallow: /template

Disallow: /static

Disallow: /play

Disallow: /skin

Disallow: /ckplayer

Disallow: /io

Disallow: /layer

Disallow: /index.php

Disallow: /index.php?m=*

Disallow: /gbook-show-pg-*

Disallow: /index.php?=*

Disallow: /index.php?m=vod-search

Disallow: /index.php?s=*

屏蔽PHP文件抓取。做伪静态。

要在站长工具那里提交。。。