国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 數據庫 > Redis > 正文

Redis獲取某個大key值的腳本實例

2020-10-28 21:34:01
字體:
來源:轉載
供稿:網友

1、前言

工作中,經常有些Redis實例使用不恰當,或者對業務預估不準確,或者key沒有及時進行處理等等原因,導致某些KEY相當大。

那么大Key會帶來哪些問題呢?

如果是集群模式下,無法做到負載均衡,導致請求傾斜到某個實例上,而這個實例的QPS會比較大,內存占用也較多;對于Redis單線程模型又容易出現CPU瓶頸,當內存出現瓶頸時,只能進行縱向庫容,使用更牛逼的服務器。

涉及到大key的操作,尤其是使用hgetall、lrange 0 -1、get、hmget 等操作時,網卡可能會成為瓶頸,也會到導致堵塞其它操作,qps 就有可能出現突降或者突升的情況,趨勢上看起來十分不平滑,嚴重時會導致應用程序連不上,實例或者集群在某些時間段內不可用的狀態。

假如這個key需要進行刪除操作,如果直接進行DEL 操作,被操作的實例會被Block住,導致無法響應應用的請求,而這個Block的時間會隨著key的變大而變長。

在redis中,對于一個很大的key,例如hash類型,直接查看其值會非常慢,于是想到寫個腳本通過增量迭代來獲取,下面話不多說了,來一起看看詳細的介紹吧。

2、具體的腳本如下:

功能:掃描redis某個key里面的所有元素

使用方法:python bigkey_save_values.py "zyyset" "*" 100

3、python腳本實現如下:

#!/usr/bin/env python# -*- coding: UTF-8 -*- #功能:掃描某個key里面的所有元素#使用方法:python bigkey_save_values.py "zyyset" "m*" 100#如需獲取全部的元素:python bigkey_save_values.py "zyyset" "*" 100__author__ = "lcl" import sysimport redis import os pool=redis.ConnectionPool(host='192.168.225.128',port=6379,db=0) r = redis.StrictRedis(connection_pool=pool) #指定keykey = sys.argv[1]#掃描匹配值match = sys.argv[2]#每次匹配數量count = sys.argv[3]#總數量total = 0#獲取當前路徑path = os.getcwd()keytype = r.type(key)print "key的類型為%s" % (keytype)#掃描到的key輸出的文件txt = path+"/%s.txt" % (key)#打開文件#f = open(txt,"w")def list_iter(name): list_count = r.llen(key) for index in range(list_count):  yield r.lindex(key, index)if keytype=='list': f = open(txt,"w") for item in list_iter(key):#將匹配到對應key中的member/score輸出到文件中  f.write("%s %s" % (item,"/n"))  total = total+1 f.closeelif keytype=='hash': f = open(txt,"w") for item in r.hscan_iter(key,match = match,count = count):#將匹配到對應key中的member/score輸出到文件中  f.write("%s %s" % (item,"/n"))  total = total+1 f.closeelif keytype=='set': f = open(txt,"w") for item in r.sscan_iter(key,match = match,count = count):  f.write("%s %s" % (item,"/n"))  total = total+1 f.closeelif keytype=='zset': f = open(txt,"w") for item in r.zscan_iter(key,match = match,count = count):  f.write("%s %s" % (item,"/n"))  total = total+1 f.closeelse: print("key的類型為string,value為:" + r.get(key))print "key:%s的match:%s的數量為:%d" % (key,match,total)

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,如果有疑問大家可以留言交流,謝謝大家對武林網的支持。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 桑植县| 石狮市| 德昌县| 双峰县| 伊宁县| 青州市| 永吉县| 黎城县| 尚志市| 南陵县| 阳春市| 长汀县| 浮梁县| 宁德市| 化德县| 崇仁县| 凤阳县| 三都| 黑山县| 丰城市| 克拉玛依市| 永济市| 黑水县| 昭通市| 衡水市| 巴彦淖尔市| 芜湖市| 胶南市| 邵阳县| 华池县| 阿拉善盟| 溆浦县| 郓城县| 蒙山县| 白玉县| 铜鼓县| 肃宁县| 卢湾区| 荔浦县| 五莲县| 会宁县|