前言:
Redis 的 list 數(shù)據(jù)結(jié)構(gòu)常用來(lái)做消息隊(duì)列,通常使用的命令有 lpop/rpop ,還有帶阻塞版的 blpop/brpop 等。Laravel 5.3 消息隊(duì)列也是用的 lpop 取消息,為什么不用阻塞版的 blpop 呢?
blpop 不用一直輪詢,還可以同時(shí)取多個(gè)隊(duì)列,blpop high low 30,更方便實(shí)現(xiàn)隊(duì)列的優(yōu)先級(jí)。
安全隊(duì)列和不安全隊(duì)列
什么是不安全的隊(duì)列?比如客戶端 lpop(統(tǒng)一以 lpop 為例) 從 redis 取出來(lái)的 job(任務(wù))還沒(méi)處理完進(jìn)程掛掉了或者遇到了異常,由于此時(shí)服務(wù)器上已經(jīng)沒(méi)有副本了,這個(gè) job 就丟失了。這種隊(duì)列就是不安全的。
Laravel 正是為了保證消息隊(duì)列的可靠,進(jìn)程掛掉了或者處理失敗還可以重試等,做了比較完善的機(jī)制,如取隊(duì)列的同時(shí)把隊(duì)列放入另一個(gè)集合中“暫存”起來(lái)。如代碼所示,使用 lpop 取出隊(duì)列,同時(shí) zadd 到另一個(gè)集合,使用 redis lua 來(lái)保證原子性。
- public static function pop()
- {
- return <<<'LUA'
- -- Pop the first job off of the queue...
- local job = redis.call('lpop', KEYS[1])
- local reserved = false
- if(job ~= false) then
- -- Increment the attempt count and place job on the reserved queue...
- reserved = cjson.decode(job)
- reserved['attempts'] = reserved['attempts'] + 1
- reserved = cjson.encode(reserved)
- redis.call('zadd', KEYS[2], ARGV[1], reserved)
- end //Vevb.com
- return {job, reserved}
- LUA;
- }
為什么不用 blpop?
這里為什么不使用阻塞版本的 blpop 呢?
blpop 是阻塞版的 lpop,如果隊(duì)列沒(méi)有數(shù)據(jù)過(guò)來(lái),那么在超時(shí)時(shí)間內(nèi)就會(huì)一直阻塞,直到 rpush 數(shù)據(jù)到隊(duì)列,有點(diǎn)類似 http 的長(zhǎng)輪詢,假如客戶端取出數(shù)據(jù)的這一刻掛了,還沒(méi)來(lái)得及暫存到另外的集合中,那么這個(gè)數(shù)據(jù)就丟失了。
你可能會(huì)問(wèn)為何不跟 lpop 一樣用 lua 腳本來(lái)處理并保證原子性?這個(gè)問(wèn)題作者在 github 上有回答。(https://github.com/laravel/framework/issues/22939)
Laravel中為什么不使用blpop取隊(duì)列詳析
我們知道 redis lua 腳本實(shí)際上就是事務(wù),作者的大意也是說(shuō) MULTI/EXEC 包裹起來(lái)的 blpop 沒(méi)有意義,這個(gè)時(shí)候它“退化”為非阻塞版的。
Redis 官方文檔也有說(shuō)明:
在MULTI/EXEC事務(wù)中的BLPOP
BLPOP 可以用于流水線(pipline,批量地發(fā)送多個(gè)命令并讀入多個(gè)回復(fù)),但把它用在 MULTI / EXEC 塊當(dāng)中沒(méi)有意義。因?yàn)檫@要求整個(gè)服務(wù)器被阻塞以保證塊執(zhí)行時(shí)的原子性,該行為阻止了其他客戶端執(zhí)行 LPUSH 或 RPUSH 命令。
因此,一個(gè)被包裹在 MULTI / EXEC 塊內(nèi)的 BLPOP 命令,行為表現(xiàn)得就像 LPOP 一樣,對(duì)空列表返回 nil ,對(duì)非空列表彈出列表元素,不進(jìn)行任何阻塞操作。
因此通過(guò) lua 腳本操作 blpop 和 zadd 也沒(méi)有意義,結(jié)論就是:因?yàn)闆](méi)用到阻塞的特性,或者無(wú)法保證原子性。
|
新聞熱點(diǎn)
疑難解答