国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學院 > 開發設計 > 正文

記一次MYSQL更新優化

2019-11-15 02:23:01
字體:
來源:轉載
供稿:網友
記一次MySQL更新優化引言

今天(August 5, 2015 5:34 PM)在給數據庫中一張表的結構做一次調整,添加了幾個字段,后面對之前的數據進行刷新,刷新的內容是:對其中的一個已有字段url進行匹配,然后更新新加的字段typetypeid。后來就寫了個shell腳本來刷數據,結果運行shell腳本后我就懵了,怎么這么慢~~~

情景再現
CREATE TABLE `fuckSpeed` (  `uin` bigint(20) unsigned NOT NULL DEFAULT 0,  `id` int(11) unsigned NOT NULL DEFAULT 0,  `url` varchar(255) NOT NULL DEFAULT '',  `type` int(11) unsigned NOT NULL DEFAULT 0,  `typeid` varchar(64) NOT NULL DEFAULT '',  ......  KEY `uin_id` (`uin`,`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;

表結構大概是上面這樣的(省略了好多字段),表中只有一個聯合索引uin_id,而我在更新的時候是下面的思路:

  • 首先根據一個id范圍獲取到一定數量的數據 select id,url from funkSpeed where id>=101 and id<=200;
  • 遍歷所有的數據,對每一條數據進行更新 #首先對數據進行處理,匹配獲取type和typeid update fuckSpeed set type=[type],typeid=[typeid] where id=[id]按照上面的思路搞了之后,發現更新特別的慢,平均每秒鐘3~5個左右,我也是醉了,我看看要更新的數據,總共有32w+條,這樣更新下來大概需要24h+,也就是1天還要多,額~~哭了,想想肯定是哪里出問題了。
發現問題

首先我想到的是是不是因為只有一個進程在更新,導致很慢,我啟動了5個進程,將id分段了,就像下面這樣

./update_url.sh 0 10000 &./update_url.sh 10000 20001 &./update_url.sh 20001 30001 &./update_url.sh 30002 40002 &./update_url.sh 40003 50003 &

運行之后發現還是那樣,速度沒有提升多少,還是每秒鐘更新3~5個左右,想想也是啊,時間不可能花費在插入數據之前的那些步驟(匹配、組裝sql語句、。。。),應該是插入的時候有問題

再來看看我的sql語句select id,url from funkSpeed where id>=101 and id<=200;,這里,試著在命令行執行了下,結果如下

mysql> select id,url from funkSpeed where id>=0 and id<=200;Empty set (0.18 sec)

竟然花了0.18秒,這個時候我猜恍然大悟,聯合索引我沒有使用到,聯合索引生效的條件是——必須要有左邊的字段,用explain驗證下,果然是這樣:

mysql> explain id,url from funkSpeed where id>=0 and id<=200;+-------------+------+---------------+------+---------+------+--------+-------------+| table       | type | possible_keys | key  | key_len | ref  | rows   | Extra       |+-------------+------+---------------+------+---------+------+--------+-------------+| funkSpeed  | ALL  | NULL          | NULL | NULL    | NULL | 324746 | Using where |+-------------+------+---------------+------+---------+------+--------+-------------+1 row in set (0.00 sec)

然后使用聯合索引:

mysql> select uin,id from funkSpeed where uin=10023 and id=162;+------------+----------+| uin        |   id     |+------------+----------+| 10023      | 162      |+------------+----------+1 row in set (0.00 sec)mysql> explain select uin,id from funkSpeed where uin=10023 and id=162;+-------------+------+---------------+----------+---------+-------------+------+-------------+| table       | type | possible_keys | key      | key_len | ref         | rows | Extra       |+-------------+------+---------------+----------+---------+-------------+------+-------------+| funkSpeed   | ref  | uin_id        | uin_id   | 12      | const,const |    4 | Using index |+-------------+------+---------------+----------+---------+-------------+------+-------------+1 row in set (0.00 sec)

可以看到幾乎是秒查,這個時候基本可以斷定問題是出現在索引這個地方了

我select的時候次數比較少,每兩個select之間id相差10000,所以這里可以忽略掉,而且這里沒辦法優化,除非在id上面添加索引。

問題發生在update fuckSpeed set type=[type],typeid=[typeid] where id=[id],這里在更新的時候也是會用到查詢的,我的mysql版本是5.5,不能explain update,不然肯定可以驗證我所說的,這里要更新32w+條數據,每條數據都會去更新,每條數據0.2s左右,這太嚇人了~~

解決問題

問題找到了,解決起來就容易多了~~

select的時候加了一個字段uin,改為下面這樣select uin,id,url from funkSpeed where id>=101 and id<=200;,然后更新的時候使用update fuckSpeed set type=[type],typeid=[typeid] where uin=[uin] id=[id],這樣一來索引就是用上了。

三下五除二改好了代碼,試著啟動了一個進程,看看效果如何,果然,效果提升的不是一點點,平均30+次/s,這樣大概3個小時左右就可以完成所有的更新了。

微信號: love_skills

越努力,越幸運!越幸運,越努力!

做上CEO不是夢

贏取白富美不是夢

屌絲逆襲不是夢

就是現在??!加油


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 上林县| 平原县| 北川| 资源县| 措勤县| 通化市| 神木县| 临泉县| 莱州市| 广西| 玉树县| 抚顺市| 丁青县| 南投县| 姜堰市| 连山| 攀枝花市| 石景山区| 新民市| 灌云县| 云龙县| 万州区| 岳阳县| 敖汉旗| 丰台区| 合江县| 恭城| 天祝| 大安市| 夏津县| 东莞市| 红原县| 墨脱县| 长寿区| 吉安县| 新平| 建阳市| 晴隆县| 广灵县| 建始县| 江西省|