例如：

允许访问：http://kor.125visa.com/school-list-12.html

不允许访问：http://kor.125visa.com/school-list-12029282.html

如何屏蔽最后ID大于100000的链接呢？

你这个要去服务器里面配置的，在里面。确定 Web 应用程序的根目录：

单击 Windows 桌面上的“开始”菜单，单击“控制面板”，然后双击“管理工具”。

在“管理工具”窗口中双击“Internet Information Services”。 

在“Internet Information Services”窗口中，展开与您的计算机相对应的节点，然后展开“网站”节点。 

右键单击想了解其详细信息的 Web 应用程序（如 SharePoint (80)），然后单击“属性”。

在“默认网站属性”窗口中，单击“主目录”选项卡。 

此选项卡中的“本地路径”字段显示 Web 应用程序的根文件夹。

这个需要在nginx / apache上面配置写了 而不是在Robots里面写了

你说的没法写

你的抓取频次有千万级么？没有就别考虑了，抓取不了那么深。

十万以后的.html 抓取频次只要不超10万都不用担心