前言
最近因?yàn)楣ぷ鞯男枰贛ysql里插入大量的數(shù)據(jù)大約1000w，目測會(huì)比較耗時(shí)。所以現(xiàn)在就像測試一下到底用什么插入數(shù)據(jù)的方法比較快捷高效。
下面就針對每一種方法分別測試不同數(shù)據(jù)量下的插入效率。
測試數(shù)據(jù)庫的基本與操作如下：
| mysql> create database test;Query OK, 1 row affected (0.02 sec)mysql> use test;Database changedmysql> create table mytable(id int primary key auto_increment ,value varchar(50));Query OK, 0 rows affected (0.35 sec)mysql> desc mytable;+-------+-------------+------+-----+---------+----------------+| Field | Type | Null | Key | Default | Extra |+-------+-------------+------+-----+---------+----------------+| id | int(11) | NO | PRI | NULL | auto_increment || value | varchar(50) | YES | | NULL | |+-------+-------------+------+-----+---------+----------------+2 rows in set (0.02 sec) |
方便測試，這里建了一個(gè)表，兩個(gè)字段，一個(gè)是自增的id，另一個(gè)是字符串表示內(nèi)容。
測試時(shí)每次實(shí)驗(yàn)結(jié)束都要mysql> truncate mytable，來清空已存在的表。
方法一：逐條插入
測試代碼：（中間有1000條insert語句，用vim復(fù)制粘貼比較方便，寫完后保存到a.sql，然后在mysql提示符中輸入source a.sql）
| set @start=(select current_timestamp(6));insert into mytable values(null,"value");......insert into mytable values(null,"value");set @end=(select current_timestamp(6));select @start;select @end; |
輸出結(jié)果：
| Query OK, 1 row affected (0.03 sec)......Query OK, 1 row affected (0.03 sec)Query OK, 0 rows affected (0.00 sec)+----------------------------+| @start |+----------------------------+| 2016-05-05 23:06:51.267029 |+----------------------------+1 row in set (0.00 sec)+----------------------------+| @end |+----------------------------+| 2016-05-05 23:07:22.831889 |+----------------------------+1 row in set (0.00 sec) |
總共耗時(shí)31.56486s，事實(shí)上幾乎每條語句花的時(shí)間是差不多的，基本就是30ms。
這樣子1000w的數(shù)據(jù)就得花87h。
至于更大的數(shù)據(jù)量也就不試了，這種方法肯定不可取。
方法二：基于事務(wù)的批量插入
實(shí)際上就是把這么多的查詢放在一個(gè)事務(wù)中。事實(shí)上方法一中沒一條語句都開了一個(gè)事務(wù)，因此才會(huì)特別慢。
測試代碼：（與方法一基本類似，主要添加兩行，由于比較快，這里測試了多種數(shù)據(jù)量）
| set @start=(select current_timestamp(6));start transaction;insert into mytable values(null,"value");......insert into mytable values(null,"value");commit;set @end=(select current_timestamp(6));select @start;select @end; |
測試結(jié)果：
| 數(shù)據(jù)量 時(shí)間(s)1k 0.14581w 1.079310w 5.546006100w 38.930997 |
