国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 數據庫 > MySQL > 正文

MySQL分表實現上百萬上千萬記錄分布存儲的批量查詢設計模式詳解

2024-07-24 13:02:05
字體:
來源:轉載
供稿:網友

我們知道可以將一個海量記錄的 MySQL 大表根據主鍵、時間字段,條件字段等分成若干個表甚至保存在若干服務器中。
唯一的問題就是跨服務器批量查詢麻煩,只能通過應用程序來解決。談談在Java中的解決思路。其他語言原理類似。
這里說的分表不是 MySQL 5.1 的 partition,而是人為把一個表分開存在若干表或不同的服務器。
1. 應用程序級別實現
見示意圖

MySQL分表實現上百萬上千萬記錄分布存儲的批量查詢設計模式詳解

electThreadManager 分表數據查詢管理器
它為分表的每個database or server 建立一個 thread pool
addTask() - 添加任務
stopTask() - 停止任務
getResult() - 獲取執行結果
最快的執行時間 = 最慢的 MySQL 節點查詢消耗時間
最慢的執行時間 = 超時時間
某個 ThreadPool 忙時候處理流程
1. 假如 ThreadPoolN 非常忙,(也意味 DB N 非常忙);
2. 新的查詢任務到來,addTask(), 新的任務的一個thread加到ThreadPoolN任務排隊中
3. 外層應用已經獲得其他 thread 返回結果,繼續等待
4. 外層應用等待超時的時間到,調用 stopTask() 設置該任務全部 thread 中的停止標志, 外層應用返回。
5. 若干時間后,ThreadPoolN取到該排隊 Thread, 因為設置了停止位,線程直接運行完成。
2. JDBC 層實現
做一個 JDBC Driver 的包裝,攔截 PreparedStatement, Statement 的 executeQuery()
然后調用 SelectThreadManager 完成
3. MySQL partition
MySQL 5.1 的 partition 功能由于單張表的數據跨文件,批量查詢時候同樣存在上述問題,不過它是在 MySQL 內部實現的,不需要外部調用者關心。其查詢實現的原理應該大致類似。
但 partition 只解決了 IO 的瓶頸,并不能解決 CPU 計算的瓶頸,因此無法代替傳統的手工分表方式。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 牡丹江市| 石林| 务川| 庄河市| 公主岭市| 漳州市| 谢通门县| 沈丘县| 松原市| 夏邑县| 梅河口市| 莒南县| 垫江县| 五河县| 博白县| 麻栗坡县| 星座| 皮山县| 略阳县| 东阳市| 孝义市| 化隆| 满城县| 海伦市| 城市| 呼图壁县| 永平县| 喀什市| 普兰店市| 札达县| 太仆寺旗| 甘孜县| 克东县| 蓬莱市| 英超| 广宗县| 昌都县| 鹤山市| 嘉定区| 名山县| 潜山县|