国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 數據庫 > MySQL > 正文

MySQL每秒57萬的寫入 快還是慢

2024-07-24 12:34:32
字體：大 中 小
來源：轉載
供稿：網友
　　MySQL每秒57萬的寫入 快還是慢：

　　一、需求
　　一個朋友接到一個需求，從大數據平臺收到一個數據寫入在20億+，需要快速地加載到MySQL中，供第二天業務展示使用。
 
　　二、實現再分析
　　對于單表20億， 在MySQL運維，說真的這塊目前涉及得比較少，也基本沒什么經驗，但對于InnoDB單表Insert 如果內存大于數據情況下，可以維持在10萬-15萬行寫入。 但很多時間我們接受的項目還是數據超過內存的。 這里使用XeLabs TokuDB做一個測試。
 
　　三、XeLabs TokuDB介紹
 
　　相對官方TokuDB的優化：
 
　　內置了jemalloc 內存分配；
　　引入更多的內置的TokuDB性能指標；
　　支持Xtrabackup備份；
　　引入ZSTD壓縮算法；
　　支持TokuDB的binlog_group_commit特性；
　　四、測試表
 
　　實際文件8.5G，寫入TokuDB大小3.5G，只是接近于一半多點的壓縮量。 對于20億數據寫入，實際測試在58分鐘多點就可以完成。可以滿足實際需求，另外對于磁盤IO比較好的機器（SSD類盤，云上的云盤），如果內存和數據差不多情況，這量級數據量測試在Innodb里需要添加自增列，可以在3個小多一點完成。 從最佳實戰上來看，Innodb和TokuDB都寫入同樣的數據，InnoDB需要花大概是TokuDB3-4倍時間。文件大小區別，同樣20億數據：
  
　　文件大小在5倍大小的區別。
 
　　測試結論：
 
　　利用TokuDB在某云環境中8核8G內存，500G高速云盤環境，多次測試可以輕松實現57萬每秒的寫入量。
 
　　另外測試幾種場景也供大家參考： 如果在TokuDB中使用帶自增的主鍵，主鍵無值讓MySQL內部產生寫入速度，下降比較明顯，同樣寫入2億數據，帶有自建主鍵：
  
　　同樣的數據寫入在主鍵自增無值產生時，不能使用TokuDB的 Bulk loader data特性，相當于轉換為了單條的Insert實現，所以效果上慢太多。
 
　　關于TokuDB Bulk Loader前提要求，這個表是空表，對于自增列，如自增列有值的情況下，也可以使用。 建議實際使用中，如果自增列有值的情況下，可以考慮去除自增屬性，改成唯一索引，這樣減少自增的一些處理邏輯，讓TokuDB能跑地更快一點。 另外在Bulk Loader處理中為了追求更快速的寫入，壓縮方面并不是很好。

（編輯：武林網）

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板： 兴海县| 日喀则市| 许昌市| 吉安县| 会东县| 武威市| 瑞安市| 工布江达县| 洪泽县| 绿春县| 获嘉县| 民乐县| 崇仁县| 阿拉善右旗| 翼城县| 英吉沙县| 白城市| 衡山县| 社旗县| 尼木县| 百色市| 徐闻县| 太谷县| 东方市| 嵩明县| 昌乐县| 迁安市| 淄博市| 奉新县| 团风县| 华蓥市| 牟定县| 陆河县| 开远市| 高安市| 阜阳市| 湖口县| 绍兴县| 铜陵市| 中宁县| 林周县|