国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 學(xué)院 > 開發(fā)設(shè)計(jì) > 正文

緩存失效,導(dǎo)致高并發(fā)穿透DB的幾種解決思路

2019-11-14 12:26:26
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

其實(shí),這個(gè)場(chǎng)景幾乎每個(gè)程序員都會(huì)接觸到,但是還是有很多程序員對(duì)這種思路沒有好的辦法,下面我再整理下之前收集到的資料,重新發(fā)下。由于該文章轉(zhuǎn)載很多,找不到準(zhǔn)確出處。如有侵權(quán),請(qǐng)聯(lián)系我。

 

當(dāng)緩存失效時(shí),容易出現(xiàn)高并發(fā)的查詢DB,導(dǎo)致DB壓力驟然上升,這種現(xiàn)象我們稱之為緩存穿透。

這篇blog主要是探討如何在緩存將要失效時(shí),及時(shí)地更新緩存,而不是如何在緩存失效之后,如何防止高并發(fā)的DB查詢

個(gè)人認(rèn)為,當(dāng)緩存將要失效時(shí),及時(shí)地把新的數(shù)據(jù)刷到緩存里,這個(gè)是解決緩存失效瞬間高并發(fā)查DB的最好方法。 那么如何及時(shí)地知道緩存將要失效?

解決這個(gè)問(wèn)題有幾種思路:

比如一個(gè)key是testKey,失效時(shí)間是30s

1.定期從DB里查詢數(shù)據(jù),再刷到緩存里

缺點(diǎn):有些業(yè)務(wù)的key可能是變化的,不確定的。而且不好界定哪些數(shù)據(jù)是應(yīng)該查詢出來(lái)放到緩存中的,難以區(qū)分冷熱數(shù)據(jù)

2.當(dāng)緩存取到為null時(shí),加鎖去查詢DB,只允許一個(gè)線程去查詢DB

缺點(diǎn):這種方式不太靠譜,不多討論。 而且如果是多個(gè)web服務(wù)器的話,還是有可能有并發(fā)的操作

3.在向緩存寫入value時(shí),同時(shí)寫入當(dāng)前機(jī)器在時(shí)間作為過(guò)期時(shí)間

當(dāng)get得到數(shù)據(jù)時(shí),如果當(dāng)前時(shí)間 – 過(guò)期時(shí)間 > 5s,則后臺(tái)啟動(dòng)一個(gè)任務(wù)去查詢DB,更新緩存

當(dāng)然,這里的后臺(tái)任務(wù)必須保證同一個(gè)key,只有一個(gè)線程在執(zhí)行查詢DB的任務(wù),不然這個(gè)還是高并發(fā)查詢DB

缺點(diǎn):是要把過(guò)期時(shí)間和value合在一起序列化,取出數(shù)據(jù)后,還要反序列化。 很不方便

網(wǎng)上大部分文章提到的全都是前面兩種方式,有少數(shù)文章提到第3種方式。 下面提出一種基于兩個(gè)key的方法:

4.兩個(gè)key,一個(gè)key用來(lái)存放數(shù)據(jù),另一個(gè)用來(lái)標(biāo)記失效時(shí)間

比如key是testKey,設(shè)置失效時(shí)間為30s,則另一個(gè)key為expire_testKey,失效時(shí)間為25s。用multiget,同時(shí)取出testKey和expire_testKey,如果expire_testKey的為null,則后臺(tái)啟動(dòng)一個(gè)任務(wù)加鎖去查詢DB,更新緩存。集群式的部署的,如何實(shí)現(xiàn)只允許一個(gè)任務(wù)執(zhí)行,用到memcached的add命令,或redis的setnx命令。設(shè)置expire_testKey超時(shí)過(guò)間為3s,防止后臺(tái)任務(wù)失敗或者阻塞。

缺點(diǎn):內(nèi)存翻倍,而且程序上要維護(hù)2個(gè)key。

5.兩個(gè)key,時(shí)間存到value里,結(jié)合add/setnx來(lái)保證原子性更新緩存

最近重新思考了下這個(gè)問(wèn)題。 發(fā)現(xiàn)第4種兩個(gè)key的辦法比較耗memcached的內(nèi)存,因?yàn)閗ey數(shù)翻倍了。 結(jié)合第3種方式,重新設(shè)計(jì)了下,思路如下。

仍然使用2個(gè)key方案,但是expire_testKey相當(dāng)于鎖。只允許add/setnx成功的線程去更新數(shù)據(jù)。更新成功后把expire_testKey進(jìn)行刪除。由于這個(gè)expire_testKey存在時(shí)間較短,不會(huì)占用太多緩存內(nèi)存。

優(yōu)點(diǎn):節(jié)省內(nèi)存,數(shù)據(jù)是自然冷熱適應(yīng)的,不用擔(dān)心集群帶來(lái)并發(fā)風(fēng)險(xiǎn)

總結(jié):

我個(gè)人是傾向于第5種方式的,因?yàn)楹芎?jiǎn)單,直觀。 比第4種方式要節(jié)省內(nèi)存,而且不用mget,在使用memcached集群時(shí)不用擔(dān)心出麻煩事

這種兩個(gè)key的方式,還有一個(gè)好處,就是數(shù)據(jù)是自然冷熱適應(yīng)的。 如果是冷數(shù)據(jù),30秒都沒有人訪問(wèn),那么數(shù)據(jù)會(huì)過(guò)期

如果是熱門數(shù)據(jù),一直有大流量訪問(wèn),那么數(shù)據(jù)就是一直熱的,而且數(shù)據(jù)一直不會(huì)過(guò)期


發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 许昌市| 隆子县| 斗六市| 田东县| 石狮市| 延长县| 韶山市| 湘西| 朔州市| 民和| 本溪| 麻江县| 华蓥市| 洪江市| 广昌县| 长子县| 封开县| 汾西县| 临沭县| 天水市| 衡阳市| 平武县| 呼图壁县| 彭州市| 宁陕县| 永登县| 定安县| 屏山县| 武威市| 大冶市| 洪洞县| 成都市| 临漳县| 高清| 南川市| 化德县| 乾安县| 启东市| 宜章县| 黔江区| 黄梅县|