引言
今天(August 5, 2015 5:34 PM)在給數據庫中一張表的結構做一次調整,添加了幾個字段,后面對之前的數據進行刷新,刷新的內容是:對其中的一個已有字段url進行匹配,然后更新新加的字段type和typeid。后來就寫了個shell腳本來刷數據,結果運行shell腳本后我就懵了,怎么這么慢~~~
情景再現
| CREATE TABLE `fuckSpeed` ( `uin` bigint(20) unsigned NOT NULL DEFAULT 0, `id` int(11) unsigned NOT NULL DEFAULT 0, `url` varchar(255) NOT NULL DEFAULT '', `type` int(11) unsigned NOT NULL DEFAULT 0, `typeid` varchar(64) NOT NULL DEFAULT '', ...... KEY `uin_id` (`uin`,`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8; |
表結構大概是上面這樣的(省略了好多字段),表中只有一個聯合索引uin_id,而我在更新的時候是下面的思路:
首先根據一個id范圍獲取到一定數量的數據
| select id,url from funkSpeed where id>=101 and id<=200; |
遍歷所有的數據,對每一條數據進行更新
#首先對數據進行處理,匹配獲取type和typeid
| update fuckSpeed set type=[type],typeid=[typeid] where id=[id] |
按照上面的思路搞了之后,發現更新特別的慢,平均每秒鐘3~5個左右,我也是醉了,我看看要更新的數據,總共有32w+條,這樣更新下來大概需要24h+,也就是1天還要多,額~~哭了,想想肯定是哪里出問題了。
發現問題
首先我想到的是是不是因為只有一個進程在更新,導致很慢,我啟動了5個進程,將id分段了,就像下面這樣
| ./update_url.sh 0 10000 &./update_url.sh 10000 20001 &./update_url.sh 20001 30001 &./update_url.sh 30002 40002 &./update_url.sh 40003 50003 & |
運行之后發現還是那樣,速度沒有提升多少,還是每秒鐘更新3~5個左右,想想也是啊,時間不可能花費在插入數據之前的那些步驟(匹配、組裝sql語句、。。。),應該是插入的時候有問題
再來看看我的sql語句select id,url from funkSpeed where id>=101 and id<=200;,這里,試著在命令行執行了下,結果如下
| mysql> select id,url from funkSpeed where id>=0 and id<=200;Empty set (0.18 sec) |
竟然花了0.18秒,這個時候我猜恍然大悟,聯合索引我沒有使用到,聯合索引生效的條件是——必須要有左邊的字段,用explain驗證下,果然是這樣:
| mysql> explain id,url from funkSpeed where id>=0 and id<=200;+-------------+------+---------------+------+---------+------+--------+-------------+| table | type | possible_keys | key | key_len | ref | rows | Extra |+-------------+------+---------------+------+---------+------+--------+-------------+| funkSpeed | ALL | NULL | NULL | NULL | NULL | 324746 | Using where |+-------------+------+---------------+------+---------+------+--------+-------------+1 row in set (0.00 sec) |