国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 數據庫 > Redis > 正文

Redis實現唯一計數的3種方法分享

2020-03-17 12:43:18
字體:
來源:轉載
供稿:網友
這篇文章主要介紹了Redis實現唯一計數的3種方法分享,本文講解了基于SET、基于 bit、基于 HyperLogLog三種方法,需要的朋友可以參考下
 

唯一計數是網站系統中十分常見的一個功能特性,例如網站需要統計每天訪問的人數 unique visitor (也就是 UV)。計數問題很常見,但解決起來可能十分復雜:一是需要計數的量可能很大,比如大型的站點每天有數百萬的人訪問,數據量相當大;二是通常還希望擴展計數的維度,比如除了需要每天的 UV,還想知道每周或每月的 UV,這樣導致計算十分復雜。

在關系數據庫存儲的系統里,實現唯一計數的方法就是 select count(distinct <item_id>),它十分簡單,但是如果數據量很大,這個語句執行是很慢的。用關系數據庫另外一個問題是插入數據性能也不高。

Redis 解決這類計數問題得心應手,相比關系數據庫速度更快,消耗資源更少,甚至提供了 3 種不同的方法。

1.基于 set

Redis 的 set 用于保存唯一的數據集合,通過它可以快速判斷某一個元素是否存在于集合中,也可以快速計算某一個集合的元素個數,另外和可以合并集合到一個新的集合中。涉及的命令如下:

 

復制代碼代碼如下:

SISMEMBER key member  # 判斷 member 是否存在
SADD key member  # 往集合中加入 member
SCARD key   # 獲取集合元素個數 

 

基于 set 的方法簡單有效,計數精確,適用面廣,易于理解,它的缺點是消耗資源比較大(當然比起關系數據庫是少很多的),如果元素個數很大(比如上億的計數),消耗內存很恐怖。

2.基于 bit

Redis 的 bit 可以用于實現比 set 內存高度壓縮的計數,它通過一個 bit 1 或 0 來存儲某個元素是否存在信息。例如網站唯一訪客計數,可以把 user_id 作為 bit 的偏移量 offset,設置為 1 表示有訪問,使用 1 MB的空間就可以存放 800 多萬用戶的一天訪問計數情況。涉及的命令如下:

復制代碼代碼如下:

SETBIT key offset value  # 設置位信息
GETBIT key offset        # 獲取位信息
BITCOUNT key [start end] # 計數
BITOP operation destkey key [key ...]  # 位圖合并 

 

基于 bit 的方法比起 set 空間消耗小得多,但是它要求元素能否簡單映射為位偏移,適用面窄了不少,另外它消耗的空間取決于最大偏移量,和計數值無關,如果最大偏移量很大,消耗內存也相當可觀。

3.基于 HyperLogLog

實現超大數據量精確的唯一計數都是比較困難的,但是如果只是近似的話,計算科學里有很多高效的算法,其中 HyperLogLog Counting 就是其中非常著名的算法,它可以僅僅使用 12 k左右的內存,實現上億的唯一計數,而且誤差控制在百分之一左右。涉及的命令如下:

復制代碼代碼如下:

PFADD key element [element ...]  # 加入元素
PFCOUNT key [key ...]   # 計數

 

這種計數方法真的很神奇,我也沒有徹底弄明白,有興趣可以深入研究相關文章。

redis 提供的這三種唯一計數方式各有優劣,可以充分滿足不同情況下的計數要求。


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 修文县| 北安市| 名山县| 新野县| 巴南区| 分宜县| 南华县| 德昌县| 永安市| 广宗县| 井研县| 连山| 景泰县| 甘孜县| 宣武区| 宁波市| 贺州市| 友谊县| 陕西省| 苏尼特左旗| 磐安县| 汉沽区| 措美县| 耒阳市| 利辛县| 塘沽区| 遂川县| 建平县| 金昌市| 沁水县| 正镶白旗| 永年县| 天长市| 长葛市| 永德县| 剑川县| 清原| 塔城市| 博兴县| 金秀| 章丘市|