Mysql提升大數(shù)據(jù)表拷貝效率的解決方案

2024-07-24 12:54:08

字體：大中小

供稿：網(wǎng)友

前言

本文主要給大家介紹了關(guān)于Mysql提升大數(shù)據(jù)表拷貝效率的相關(guān)內(nèi)容，分享出來供大家參考學習，我們大家在工作上會經(jīng)常遇到量級比較大的數(shù)據(jù)表；

場景: 該數(shù)據(jù)表需要進行alter操作比如增加一個字段,減少一個字段. 這個在一個幾萬級別數(shù)據(jù)量的數(shù)據(jù)表可以直接進行alter表操作,但是要在一個接近1000W的數(shù)據(jù)表進行操作,不是一件容易的事；

可能情況:

1.導致數(shù)據(jù)庫崩潰或者卡死

2.導致其他進程進行數(shù)據(jù)庫讀寫I/O變慢

3.還有一個可能就是數(shù)據(jù)格式不一致導致數(shù)據(jù)無法寫入(比如一個varchar類型要改為int類型,當數(shù)據(jù)長度過大時會報錯)

解決方案:--

1.重新創(chuàng)建一張數(shù)據(jù)表 create new_table select * from old_table 這種形式相當于復制一張新的數(shù)據(jù)表 ----(不建議): 這里面僅僅復制數(shù)據(jù)表的字段和數(shù)據(jù) , 但是表結(jié)構(gòu) 主鍵,索引和默認值都不會拷貝過來

2.分成兩個步驟

1). create new_table like old_table 創(chuàng)建一個新表,表結(jié)構(gòu)和old_table一致(包含主鍵,索引和默認值等)

2). insert into new_table select * from old_table 把old_table的數(shù)據(jù)全部拷貝到new_table里面去

----(如果數(shù)據(jù)量少的話,在幾萬行左右建議使用此方案, 如果數(shù)據(jù)量到達數(shù)百萬上千萬時, 這個也是不適用的)

擴展: 如果你只要拷貝一部分數(shù)據(jù)表的話,可以指定 insert into new_table (字段1,字段2) select 字段1,字段2 from old_table [limit n,m] ；

1).通過select from into outfile 命令來導出數(shù)據(jù)表數(shù)據(jù)

2).通過load data infile into 命令來導入數(shù)據(jù)表數(shù)據(jù)

不多廢話直接看圖,感受下100萬左右的數(shù)據(jù)量方案2 和方案3 處理速度相差多少

>select * from money_info into outfile '/var/lib/mysql-files/money.txt'; >create table money_info_cyq11 like money_info;>load data infile '/var/lib/mysql-files/money.txt' into table money_info_cyq11;

>create table money_info_cyq22 like money_info;>insert into money_info_cyq22 select * from money_info;