修改配置nginx限制无良爬虫频率

我们公司某些服务也经常被爬虫影响，例如贴吧

在贴吧这个事故中，我是简单地匹配useragent，给它返回一个500的错误。

今天看微博发现@金荣叶 的处理方法很灵活，可以动态设定一个爬虫的频率，达到减轻服务器负载，并且不至于封杀爬虫。

#全局配置

limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;

#某个server中

limit_req zone=anti_spider burst=30 nodelay;

if ($http_user_agent ~* "xxspider|xxbot") {

set $anti_spider $http_user_agent;

}