Redis和Lua實現分布式限流器的方法詳解

2020-10-28 21:30:08

字體：大中小

來源：轉載

供稿：網友

主要是依靠 redis + lua 來實現限流器, 使用 lua 的原因是將多條命令合并在一起作為一個原子操作, 無需過多考慮并發.

計數器模式

原理

計數器算法是指在一段窗口時間內允許通過的固定數量的請求, 比如10次/秒, 500次/30秒.

如果設置的時間粒度越細, 那么限流會更平滑.

實現

所使用的 Lua 腳本

-- 計數器限流-- 此處支持的最小單位時間是秒, 若將 expire 改成 pexpire 則可支持毫秒粒度.-- KEYS[1] string 限流的key-- ARGV[1] int  限流數-- ARGV[2] int  單位時間(秒)local cnt = tonumber(redis.call("incr", KEYS[1]))if (cnt == 1) then -- cnt 值為1說明之前不存在該值, 因此需要設置其過期時間 redis.call("expire", KEYS[1], tonumber(ARGV[2]))elseif (cnt > tonumber(ARGV[1])) then return -1end return cnt

返回 -1 表示超過限流, 否則返回當前單位時間已通過的請求數

key 可以但不限于以下的情況

ip + 接口
user_id + 接口

優點

實現簡單

缺點

粒度不夠細的情況下, 會出現在同一個窗口時間內出現雙倍請求數

注意

盡量保持時間粒度精細

場景分析

eg. 1000/3s 的限流

極端情況1:

第1秒請求數 10

第2秒請求數 10

第3秒請求數 980

第4秒請求數 900

第5秒請求數 100

第6秒請求數 0

此時注意第3~5秒內的總請求數高達 1980

極端情況2:

第1秒請求數 1000

第2秒請求數 0

第3秒請求數 0

此時后續的第2~3秒會出現大量拒絕請求

令牌桶模式

原理

令牌桶的

桶中保存有令牌, 存在上限, 且一開始是滿的
每次請求都要消耗令牌(可根據不同請求消耗不同數量的令牌)
每隔一段時間(固定速率)會往桶中放令牌

桶的實現還分為:

可預消費

提前預支令牌數: 前人挖坑, 后人跳

不可預消費

令牌數不夠直接拒絕

實現

此處實現的不可預消費的令牌桶, 具體Lua代碼:

-- 令牌桶限流: 不支持預消費, 初始桶是滿的-- KEYS[1] string 限流的key-- ARGV[1] int  桶最大容量-- ARGV[2] int  每次添加令牌數-- ARGV[3] int  令牌添加間隔(秒)-- ARGV[4] int  當前時間戳local bucket_capacity = tonumber(ARGV[1])local add_token = tonumber(ARGV[2])local add_interval = tonumber(ARGV[3])local now = tonumber(ARGV[4])-- 保存上一次更新桶的時間的keylocal LAST_TIME_KEY = KEYS[1].."_time";   -- 獲取當前桶中令牌數local token_cnt = redis.call("get", KEYS[1]) -- 桶完全恢復需要的最大時長local reset_time = math.ceil(bucket_capacity / add_token) * add_interval;if token_cnt then -- 令牌桶存在 -- 上一次更新桶的時間 local last_time = redis.call('get', LAST_TIME_KEY) -- 恢復倍數 local multiple = math.floor((now - last_time) / add_interval) -- 恢復令牌數 local recovery_cnt = multiple * add_token -- 確保不超過桶容量 local token_cnt = math.min(bucket_capacity, token_cnt + recovery_cnt) - 1  if token_cnt < 0 then  return -1; end  -- 重新設置過期時間, 避免key過期 redis.call('set', KEYS[1], token_cnt, 'EX', reset_time)       redis.call('set', LAST_TIME_KEY, last_time + multiple * add_interval, 'EX', reset_time) return token_cnt else -- 令牌桶不存在 token_cnt = bucket_capacity - 1 -- 設置過期時間避免key一直存在 redis.call('set', KEYS[1], token_cnt, 'EX', reset_time); redis.call('set', LAST_TIME_KEY, now, 'EX', reset_time + 1);  return token_cnt end

令牌桶的關鍵是以下幾個參數: