在mysql使用時到超大千萬級數據量時我們大多會考慮到分表查詢,分庫查詢,下面我們來介紹一下關于分表查詢時的優化.

我們的項目中有好多不等于的情況,今天寫這篇文章簡單的分析一下怎么個優化法,這里的分表邏輯是根據t_group表的user_name組的個數來分的.

因為這種情況單獨user_name字段上的索引就屬于爛索引,起不了啥名明顯的效果.

1、試驗PROCEDURE,代碼如下:

1. DELIMITER $$ 
2. DROP PROCEDURE `t_girl`.`sp_split_table`$$ 
3. CREATE  PROCEDURE `t_girl`.`sp_split_table`() 
4. BEGIN 
5.   declare done int default 0; 
6.   declare v_user_name varchar(20) default ''; 
7.   declare v_table_name varchar(64) default ''; 
8.   -- Get all users' name. 
9.   declare cur1 cursor for select user_name from t_group group by user_name; 
10.   -- Deal with error or warnings. 
11.   declare continue handler for 1329 set done = 1; 
12.   -- Open cursor. 
13.   open cur1; 
14.   while done <> 1 
15.   do  
16.     fetch cur1 into v_user_name; 
17.     if not done then 
18.       -- Get table name. 
19.       set v_table_name = concat('t_group_',v_user_name); 
20.       -- Create new extra table. 
21.       set @stmt = concat('create table ',v_table_name,' like t_group'); 
22.       prepare s1 from @stmt; 
23.       execute s1; 
24.       drop prepare s1; 
25.       -- Load data into it. 
26.       set @stmt = concat('insert into ',v_table_name,' select * from t_group where user_name = ''',v_user_name,''''); 
27.       prepare s1 from @stmt; 
28.       execute s1; 
29.       drop prepare s1; 
30.     end if; 
31.   end while; 
32.   -- Close cursor. 
33.   close cur1; 
34.   -- Free variable from memory. 
35.   set @stmt = NULL; 
36. END$$ 
37. DELIMITER ; 

2、試驗表,我們用一個有一千萬條記錄的表來做測試,代碼如下:

1. mysql> select count(*) from t_group; 
2. +----------+ 
3. | count(*) | 
4. +----------+ 
5. | 10388608 |  
6. +----------+ 
7. 1 row in set (0.00 sec) 

表結構,代碼如下:

1. mysql> desc t_group; 
2. +-------------+------------------+------+-----+-------------------+----------------+ 
3. | Field       | Type             | Null | Key | Default           | Extra          | 
4. +-------------+------------------+------+-----+-------------------+----------------+ 
5. | id          | int(10) unsigned | NO   | PRI | NULL              | auto_increment |  
6. | money       | decimal(10,2)    | NO   |     |                   |                |  
7. | user_name   | varchar(20)      | NO   | MUL |                   |                |  
8. | create_time | timestamp        | NO   |     | CURRENT_TIMESTAMP |                |  
9. +-------------+------------------+------+-----+-------------------+----------------+ 
10. 4 rows in set (0.00 sec) 

索引情況.

1. mysql> show index from t_group; 
2. +---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+ 
3. | Table   | Non_unique | Key_name         | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | 
4. +---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+ 
5. | t_group |          0 | PRIMARY          |            1 | id          | A         |    10388608 |     NULL | NULL   |      | BTREE      |         |  
6. | t_group |          1 | idx_user_name    |            1 | user_name   | A         |           8 |     NULL | NULL   |      | BTREE      |         |  
7. | t_group |          1 | idx_combination1 |            1 | user_name   | A         |           8 |     NULL | NULL   |      | BTREE      |         |  
8. | t_group |          1 | idx_combination1 |            2 | money       | A         |        3776 |     NULL | NULL   |      | BTREE      |         |  
9. +---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+ 
10. 4 rows in set (0.00 sec)  --Vevb.com 

PS:idx_combination1 這個索引是必須的,因為要對user_name來GROUP BY,此時屬于松散索引掃描,當然完了后你可以干掉她.

idx_user_name 這個索引是為了加快單獨執行constant這種類型的查詢.

我們要根據用戶名來分表,代碼如下:

1. mysql> select user_name from t_group where 1 group by user_name; 
2. +-----------+ 
3. | user_name | 
4. +-----------+ 
5. | david     |  
6. | leo       |  
7. | livia     |  
8. | lucy      |  
9. | sarah     |  
10. | simon     |  
11. | sony      |  
12. | sunny     |  
13. +-----------+ 
14. 8 rows in set (0.00 sec) 

所以結果表應該是這樣的,代碼如下:

1. mysql> show tables like 't_group_%'; 
2. +------------------------------+ 
3. | Tables_in_t_girl (t_group_%) | 
4. +------------------------------+ 
5. | t_group_david                |  
6. | t_group_leo                  |  
7. | t_group_livia                |  
8. | t_group_lucy                 |  
9. | t_group_sarah                |  
10. | t_group_simon                |  
11. | t_group_sony                 |  
12. | t_group_sunny                |  
13. +------------------------------+ 
14. 8 rows in set (0.00 sec) 

3、對比結果,代碼如下:

1. mysql> select count(*) from t_group where user_name = 'david'; 
2. +----------+ 
3. | count(*) | 
4. +----------+ 
5. |  1298576 |  
6. +----------+ 
7. 1 row in set (1.71 sec) 

執行了將近2秒.

1. mysql> select count(*) from t_group_david; 
2. +----------+ 
3. | count(*) | 
4. +----------+ 
5. |  1298576 |  
6. +----------+ 
7. 1 row in set (0.00 sec) 

幾乎是瞬間的.

1. mysql> select count(*) from t_group where user_name <> 'david'; 
2. +----------+ 
3. | count(*) | 
4. +----------+ 
5. |  9090032 |  
6. +----------+ 
7. 1 row in set (9.26 sec) 

執行了將近10秒,可以想象,這個是實際的項目中是不能忍受的.

1. mysql> select (select count(*) from t_group) - (select count(*) from t_group_david) as total; 
2. +---------+ 
3. | total   | 
4. +---------+ 
5. | 9090032 |  
6. +---------+ 
7. 1 row in set (0.00 sec) 

幾乎是瞬間的.

我們來看看聚集函數,對于原表的操作,代碼如下:

1. mysql> select min(money),max(money) from t_group where user_name = 'david'; 
2. +------------+------------+ 
3. | min(money) | max(money) | 
4. +------------+------------+ 
5. |      -6.41 |     500.59 |  
6. +------------+------------+ 
7. 1 row in set (0.00 sec) 

最小,最大值都是FULL INDEX SCAN,所以是瞬間的.

1. mysql> select sum(money),avg(money) from t_group where user_name = 'david'; 
2. +--------------+------------+ 
3. | sum(money)   | avg(money) | 
4. +--------------+------------+ 
5. | 319992383.84 | 246.417910 |  
6. +--------------+------------+ 
7. 1 row in set (2.15 sec) 

其他聚集函數的結果就不是FULL INDEX SCAN了,耗時2.15秒,對于小表的操作,代碼如下:

1. mysql> select min(money),max(money) from t_group_david; 
2. +------------+------------+ 
3. | min(money) | max(money) | 
4. +------------+------------+ 
5. |      -6.41 |     500.59 |  
6. +------------+------------+ 
7. 1 row in set (1.50 sec) 

最大最小值完全是FULL TABLE SCAN,耗時1.50秒,不劃算,以此看來,代碼如下:

1. mysql> select sum(money),avg(money) from t_group_david; 
2. +--------------+------------+ 
3. | sum(money)   | avg(money) | 
4. +--------------+------------+ 
5. | 319992383.84 | 246.417910 |  
6. +--------------+------------+ 
7. 1 row in set (1.68 sec) 

取得這兩個結果也是花了快2秒,快了一點,我們來看看這個小表的結構,代碼如下:

1. mysql> desc t_group_david; 
2. +-------------+------------------+------+-----+-------------------+----------------+ 
3. | Field       | Type             | Null | Key | Default           | Extra          | 
4. +-------------+------------------+------+-----+-------------------+----------------+ 
5. | id          | int(10) unsigned | NO   | PRI | NULL              | auto_increment |  
6. | money       | decimal(10,2)    | NO   |     |                   |                |  
7. | user_name   | varchar(20)      | NO   | MUL |                   |                |  
8. | create_time | timestamp        | NO   |     | CURRENT_TIMESTAMP |                |  
9. +-------------+------------------+------+-----+-------------------+----------------+ 
10. 4 rows in set (0.00 sec) 

明顯的user_name屬性是多余的,那么就干掉它,代碼如下:

1. mysql> alter table t_group_david drop user_name; 
2. Query OK, 1298576 rows affected (7.58 sec) 
3. Records: 1298576  Duplicates: 0  Warnings: 0 

現在來重新對小表運行查詢,代碼如下:

1. mysql> select min(money),max(money) from t_group_david; 
2. +------------+------------+ 
3. | min(money) | max(money) | 
4. +------------+------------+ 
5. |      -6.41 |     500.59 |  
6. +------------+------------+ 
7. 1 row in set (0.00 sec) 

此時是瞬間的.

1. mysql> select sum(money),avg(money) from t_group_david; 
2. +--------------+------------+ 
3. | sum(money)   | avg(money) | 
4. +--------------+------------+ 
5. | 319992383.84 | 246.417910 |  
6. +--------------+------------+ 
7. 1 row in set (0.94 sec) 

這次算是控制在一秒以內了.

mysql> Aborted

小總結一下:分出的小表的屬性盡量越少越好,大膽的去干吧.