掌握MySQL數(shù)據(jù)庫這些優(yōu)化秘訣事半功倍

2024-07-24 12:35:58

字體：大中小

供稿：網(wǎng)友

　　一個(gè)成熟的數(shù)據(jù)庫架構(gòu)并不是一開始設(shè)計(jì)就具備高可用、高伸縮等特性的，它是隨著用戶量的增加，基礎(chǔ)架構(gòu)才逐漸完善。這篇文章主要談?wù)凪ySQL數(shù)據(jù)庫在發(fā)展周期中所面臨的問題及優(yōu)化方案，暫且拋開前端應(yīng)用不說，大致分為以下五個(gè)階段：

　　階段一：數(shù)據(jù)庫表設(shè)計(jì)
　　項(xiàng)目立項(xiàng)后，開發(fā)部門根據(jù)產(chǎn)品部門需求開發(fā)項(xiàng)目。
　　開發(fā)工程師在開發(fā)項(xiàng)目初期會(huì)對表結(jié)構(gòu)設(shè)計(jì)。對于數(shù)據(jù)庫來說，表結(jié)構(gòu)設(shè)計(jì)很重要，如果設(shè)計(jì)不當(dāng)，會(huì)直接影響到用戶訪問網(wǎng)站速度，用戶體驗(yàn)不好！這種情況具體影響因素有很多，例如慢查詢（低效的查詢語句）、沒有適當(dāng)建立索引、數(shù)據(jù)庫堵塞（鎖）等。當(dāng)然，有測試部門的團(tuán)隊(duì)，會(huì)做產(chǎn)品測試，找Bug。
　　由于開發(fā)工程師重視點(diǎn)不同，初期不會(huì)考慮太多數(shù)據(jù)庫設(shè)計(jì)是否合理，而是盡快完成功能實(shí)現(xiàn)和交付。等項(xiàng)目上線有一定訪問量后，隱藏的問題就會(huì)暴露，這時(shí)再去修改就不是這么容易的事了！

　　階段二：數(shù)據(jù)庫部署
　　是時(shí)候運(yùn)維工程師出場了，項(xiàng)目上線。
　　項(xiàng)目初期訪問量一般是寥寥無幾，此階段Web+數(shù)據(jù)庫單臺部署足以應(yīng)對在1000左右的QPS（每秒查詢率）。考慮到單點(diǎn)故障，應(yīng)做到高可用性，可采用MySQL主從復(fù)制+Keepalived實(shí)現(xiàn)雙機(jī)熱備。主流HA軟件有：Keepalived（推薦）、Heartbeat。

　　階段三：數(shù)據(jù)庫性能優(yōu)化
　　如果將MySQL部署到普通的X86服務(wù)器上，在不經(jīng)過任何優(yōu)化情況下，MySQL理論值正常可以處理1500左右QPS，經(jīng)過優(yōu)化后，有可能會(huì)提升到2000左右QPS。否則，訪問量當(dāng)達(dá)到1500左右并發(fā)連接時(shí)，數(shù)據(jù)庫處理性能可能響應(yīng)就會(huì)慢，而且硬件資源還比較富裕，這時(shí)就該考慮性能優(yōu)化問題了。那么怎樣能讓數(shù)據(jù)庫發(fā)揮最大性能呢？主要從硬件配置、數(shù)據(jù)庫配置、架構(gòu)方面著手，具體分為以下：

　　3.1 硬件配置
　　如果有條件一定要SSD固態(tài)硬盤代替SAS機(jī)械硬盤，將RAID級別調(diào)整為RAID1+0，相對于RAID1和RAID5有更好的讀寫性能，畢竟數(shù)據(jù)庫的壓力主要來自磁盤I/O方面。
　　Linux內(nèi)核有一個(gè)特性，會(huì)從物理內(nèi)存中劃分出緩存區(qū)（系統(tǒng)緩存和數(shù)據(jù)緩存）來存放熱數(shù)據(jù)，通過文件系統(tǒng)延遲寫入機(jī)制，等滿足條件時(shí)（如緩存區(qū)大小到達(dá)一定百分比或者執(zhí)行sync命令）才會(huì)同步到磁盤。也就是說物理內(nèi)存越大，分配緩存區(qū)越大，緩存數(shù)據(jù)越多。當(dāng)然，服務(wù)器故障會(huì)丟失一定的緩存數(shù)據(jù)。建議物理內(nèi)存至少富裕50%以上。

　　3.2 數(shù)據(jù)庫配置優(yōu)化
　　MySQL應(yīng)用最廣泛的有兩種存儲(chǔ)引擎：一個(gè)是MyISAM，不支持事務(wù)處理，讀性能處理快，表級別鎖。另一個(gè)是InnoDB，支持事務(wù)處理（ACID屬性），設(shè)計(jì)目標(biāo)是為大數(shù)據(jù)處理，行級別鎖。
　　表鎖：開銷小，鎖定粒度大，發(fā)生死鎖概率高，相對并發(fā)也低。
　　行鎖：開銷大，鎖定粒度小，發(fā)生死鎖概率低，相對并發(fā)也高。
　　為什么會(huì)出現(xiàn)表鎖和行鎖呢？主要為保證數(shù)據(jù)完整性。舉個(gè)例子，一個(gè)用戶在操作一張表，其他用戶也想操作這張表，那么就要等第一個(gè)用戶操作完，其他用戶才能操作，表鎖和行鎖就是這個(gè)作用。否則多個(gè)用戶同時(shí)操作一張表，肯定會(huì)數(shù)據(jù)產(chǎn)生沖突或者異常。
　　根據(jù)這些方面看，使用InnoDB存儲(chǔ)引擎是最好的選擇，也是MySQL5.5+版本默認(rèn)存儲(chǔ)引擎。每個(gè)存儲(chǔ)引擎相關(guān)運(yùn)行參數(shù)比較多，以下列出可能影響數(shù)據(jù)庫性能的參數(shù)。
　　公共參數(shù)默認(rèn)值：

　　max_connections = 151
　　# 同時(shí)處理最大連接數(shù)，建議設(shè)置最大連接數(shù)是上限連接數(shù)的80%左右
　　sort_buffer_size = 2M
　　# 查詢排序時(shí)緩沖區(qū)大小，只對order by和group by起作用，建議增大為16M
　　open_files_limit = 1024
　　# 打開文件數(shù)限制，如果show global status like 'open_files'查看的值等于或者大于open_files_limit值時(shí)，程序會(huì)無法連接數(shù)據(jù)庫或卡死
　　MyISAM參數(shù)默認(rèn)值：

　　key_buffer_size = 16M
　　# 索引緩存區(qū)大小，一般設(shè)置物理內(nèi)存的30-40%
　　read_buffer_size = 128K
　　# 讀操作緩沖區(qū)大小，建議設(shè)置16M或32M
　　query_cache_type = ON
　　# 打開查詢緩存功能
　　query_cache_limit = 1M
　　# 查詢緩存限制，只有1M以下查詢結(jié)果才會(huì)被緩存，以免結(jié)果數(shù)據(jù)較大把緩存池覆蓋
　　query_cache_size = 16M
　　# 查看緩沖區(qū)大小，用于緩存SELECT查詢結(jié)果，下一次有同樣SELECT查詢將直接從緩存池返回結(jié)果，可適當(dāng)成倍增加此值
　　InnoDB參數(shù)默認(rèn)值：

　　innodb_buffer_pool_size = 128M
　　# 索引和數(shù)據(jù)緩沖區(qū)大小，建議設(shè)置物理內(nèi)存的70%左右
　　innodb_buffer_pool_instances = 1
　　# 緩沖池實(shí)例個(gè)數(shù)，推薦設(shè)置4個(gè)或8個(gè)
　　innodb_flush_log_at_trx_commit = 1
　　# 關(guān)鍵參數(shù)，0代表大約每秒寫入到日志并同步到磁盤，數(shù)據(jù)庫故障會(huì)丟失1秒左右事務(wù)數(shù)據(jù)。1為每執(zhí)行一條SQL后寫入到日志并同步到磁盤，I/O開銷大，執(zhí)行完SQL要等待日志讀寫，效率低。2代表只把日志寫入到系統(tǒng)緩存區(qū)，再每秒同步到磁盤，效率很高，如果服務(wù)器故障，才會(huì)丟失事務(wù)數(shù)據(jù)。對數(shù)據(jù)安全性要求不是很高的推薦設(shè)置2，性能高，修改后效果明顯。
　　innodb_file_per_table = OFF
　　# 是否共享表空間，5.7+版本默認(rèn)ON，共享表空間idbdata文件不斷增大，影響一定的I/O性能。建議開啟獨(dú)立表空間模式，每個(gè)表的索引和數(shù)據(jù)都存在自己獨(dú)立的表空間中，可以實(shí)現(xiàn)單表在不同數(shù)據(jù)庫中移動(dòng)。
　　innodb_log_buffer_size = 8M
　　# 日志緩沖區(qū)大小，由于日志最長每秒鐘刷新一次，所以一般不用超過16M
　　3.3 系統(tǒng)內(nèi)核參數(shù)優(yōu)化
　　大多數(shù)MySQL都部署在linux系統(tǒng)上，所以操作系統(tǒng)的一些參數(shù)也會(huì)影響到MySQL性能，以下對Linux內(nèi)核參數(shù)進(jìn)行適當(dāng)優(yōu)化

　　4.1 增加緩存
　　給數(shù)據(jù)庫增加緩存系統(tǒng)，把熱數(shù)據(jù)緩存到內(nèi)存中，如果緩存中有請求的數(shù)據(jù)就不再去請求MySQL，減少數(shù)據(jù)庫負(fù)載。緩存實(shí)現(xiàn)有本地緩存和分布式緩存，本地緩存是將數(shù)據(jù)緩存到本地服務(wù)器內(nèi)存中或者文件中。分布式緩存可以緩存海量數(shù)據(jù)，擴(kuò)展性好，主流的分布式緩存系統(tǒng)：memcached、redis，memcached性能穩(wěn)定，數(shù)據(jù)緩存在內(nèi)存中，速度很快，QPS理論可達(dá)8w左右。如果想數(shù)據(jù)持久化就選擇用redis，性能不低于memcached。

　　4.2 主從復(fù)制與讀寫分離
　　在生產(chǎn)環(huán)境中，業(yè)務(wù)系統(tǒng)通常讀多寫少，可部署一主多從架構(gòu)，主數(shù)據(jù)庫負(fù)責(zé)寫操作，并做雙機(jī)熱備，多臺從數(shù)據(jù)庫做負(fù)載均衡，負(fù)責(zé)讀操作。主流的負(fù)載均衡器：LVS、HAProxy、Nginx。
　　怎么來實(shí)現(xiàn)讀寫分離呢？大多數(shù)企業(yè)是在代碼層面實(shí)現(xiàn)讀寫分離，效率高。另一個(gè)種方式通過代理程序?qū)崿F(xiàn)讀寫分離，企業(yè)中應(yīng)用較少，會(huì)增加中間件消耗。主流中間件代理系統(tǒng)有MyCat、Atlas等。
　　在這種MySQL主從復(fù)制拓?fù)浼軜?gòu)中，分散單臺負(fù)載，大大提高數(shù)據(jù)庫并發(fā)能力。如果一臺從服務(wù)器能處理1500 QPS，那么3臺就能處理4500 QPS，而且容易橫向擴(kuò)展。
　　有時(shí)，面對大量寫操作的應(yīng)用時(shí)，單臺寫性能達(dá)不到業(yè)務(wù)需求。就可以做雙向復(fù)制（雙主），但有個(gè)問題得注意：兩臺主服務(wù)器如果都對外提供讀寫操作，就可能遇到數(shù)據(jù)不一致現(xiàn)象，產(chǎn)生這個(gè)原因是程序有同時(shí)操作兩臺數(shù)據(jù)庫幾率，同時(shí)的更新操作會(huì)造成兩臺數(shù)據(jù)庫數(shù)據(jù)發(fā)生沖突或者不一致。
　　可設(shè)置每個(gè)表ID字段自增唯一：auto_increment_increment和auto_increment_offset，也可以寫算法生成隨機(jī)唯一。
　　官方近兩年推出的MGR（多主復(fù)制）集群也可以考慮下。

（編輯：武林網(wǎng)）

上一篇：MySQL基礎(chǔ)篇系統(tǒng)和自定義函數(shù)總結(jié) 觸發(fā)器使用解說

下一篇：MySQL對話臨時(shí)表空間