[导读]：只允许所有的搜索引擎抓取网站根目录的index.php和根目录所有的html页面，以及网站中所有的图片，其他的不让抓取，应该怎么写？ 可以将不希望的搜索引擎抓取的内容放在特定...
只允许所有的搜索引擎抓取网站根目录的index.php和根目录所有的html页面，以及网站中所有的图片，其他的不让抓取，应该怎么写？
可以将不希望的搜索引擎抓取的内容放在特定的一个或者几个目录当中，然后在Robots.txt里面屏蔽这些目录。关于robots.txt如何书写的问题可以去百度官方站长平台查看具体的语法和应用实例。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/41703.html
