[导读]：有个网站，是类似58同城，每个城市一个二级域名，然后有一个列表页面，有很多筛选条件，这些筛选条件的组合会产生很多网址， 比如 http://bj.mydomain.com/list?a=1b=2c=abcd http://s...
有个网站，是类似58同城，每个城市一个二级域名，然后有一个列表页面，有很多筛选条件，这些筛选条件的组合会产生很多网址，
比如
http://bj.mydomain.com/list?a=1&b=2&c=abcd
http://sz.mydomain.com/list?a=5&d=8
以此类推，有很多这样的网址。
每个城市的这个页面的内容不同。
然后百度爬虫拼命的爬取这些不同的网址，结果网站承受不住爬取压力，导致网站几乎打不开，正常用户无法访问，
请问有什么办法解决这个问题吗?
了解下携程这类平台如何做的吧
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/58692.html
