一個(gè)成熟的數(shù)據(jù)庫(kù)架構(gòu)并不是一開始設(shè)計(jì)就具備高可用、高伸縮等特性的,它是隨著用戶量的增加,基礎(chǔ)架構(gòu)才逐漸完善。這篇博文主要談MySQL數(shù)據(jù)庫(kù)發(fā)展周期中所面臨的問(wèn)題及優(yōu)化方案,暫且拋開前端應(yīng)用不說(shuō),大致分為以下五個(gè)階段:
1、數(shù)據(jù)庫(kù)表設(shè)計(jì)
項(xiàng)目立項(xiàng)后,開發(fā)部根據(jù)產(chǎn)品部需求開發(fā)項(xiàng)目,開發(fā)工程師工作其中一部分就是對(duì)表結(jié)構(gòu)設(shè)計(jì)。對(duì)于數(shù)據(jù)庫(kù)來(lái)說(shuō),這點(diǎn)很重要,如果設(shè)計(jì)不當(dāng),會(huì)直接影響訪問(wèn)速度和用戶體驗(yàn)。影響的因素很多,比如慢查詢、低效的查詢語(yǔ)句、沒(méi)有適當(dāng)建立索引、數(shù)據(jù)庫(kù)堵塞(死鎖)等。當(dāng)然,有測(cè)試工程師的團(tuán)隊(duì),會(huì)做壓力測(cè)試,找bug。對(duì)于沒(méi)有測(cè)試工程師的團(tuán)隊(duì)來(lái)說(shuō),大多數(shù)開發(fā)工程師初期不會(huì)太多考慮數(shù)據(jù)庫(kù)設(shè)計(jì)是否合理,而是盡快完成功能實(shí)現(xiàn)和交付,等項(xiàng)目有一定訪問(wèn)量后,隱藏的問(wèn)題就會(huì)暴露,這時(shí)再去修改就不是這么容易的事了。
2、數(shù)據(jù)庫(kù)部署
該運(yùn)維工程師出場(chǎng)了,項(xiàng)目初期訪問(wèn)量不會(huì)很大,所以單臺(tái)部署足以應(yīng)對(duì)在1500左右的QPS(每秒查詢率)。考慮到高可用性,可采用MySQL主從復(fù)制+Keepalived做雙擊熱備,常見(jiàn)集群軟件有Keepalived、Heartbeat。
3、數(shù)據(jù)庫(kù)性能優(yōu)化
如果將MySQL部署到普通的X86服務(wù)器上,在不經(jīng)過(guò)任何優(yōu)化情況下,MySQL理論值正常可以處理2000左右QPS,經(jīng)過(guò)優(yōu)化后,有可能會(huì)提升到2500左右QPS,否則,訪問(wèn)量當(dāng)達(dá)到1500左右并發(fā)連接時(shí),數(shù)據(jù)庫(kù)處理性能就會(huì)變慢,而且硬件資源還很富裕,這時(shí)就該考慮軟件問(wèn)題了。那么怎樣讓數(shù)據(jù)庫(kù)最大化發(fā)揮性能呢?一方面可以單臺(tái)運(yùn)行多個(gè)MySQL實(shí)例讓服務(wù)器性能發(fā)揮到最大化,另一方面是對(duì)數(shù)據(jù)庫(kù)進(jìn)行優(yōu)化,往往操作系統(tǒng)和數(shù)據(jù)庫(kù)默認(rèn)配置都比較保守,會(huì)對(duì)數(shù)據(jù)庫(kù)發(fā)揮有一定限制,可對(duì)這些配置進(jìn)行適當(dāng)?shù)恼{(diào)整,盡可能的處理更多連接數(shù)。
具體優(yōu)化有以下三個(gè)層面:
3.1 數(shù)據(jù)庫(kù)配置優(yōu)化
MySQL常用有兩種存儲(chǔ)引擎,一個(gè)是MyISAM,不支持事務(wù)處理,讀性能處理快,表級(jí)別鎖。另一個(gè)是InnoDB,支持事務(wù)處理(ACID),設(shè)計(jì)目標(biāo)是為處理大容量數(shù)據(jù)發(fā)揮最大化性能,行級(jí)別鎖。
表鎖:開銷小,鎖定粒度大,發(fā)生死鎖概率高,相對(duì)并發(fā)也低。
行鎖:開銷大,鎖定粒度小,發(fā)生死鎖概率低,相對(duì)并發(fā)也高。
為什么會(huì)出現(xiàn)表鎖和行鎖呢?主要是為了保證數(shù)據(jù)的完整性,舉個(gè)例子,一個(gè)用戶在操作一張表,其他用戶也想操作這張表,那么就要等第一個(gè)用戶操作完,其他用戶才能操作,表鎖和行鎖就是這個(gè)作用。否則多個(gè)用戶同時(shí)操作一張表,肯定會(huì)數(shù)據(jù)產(chǎn)生沖突或者異常。
根據(jù)以上看來(lái),使用InnoDB存儲(chǔ)引擎是最好的選擇,也是MySQL5.5以后版本中默認(rèn)存儲(chǔ)引擎。每個(gè)存儲(chǔ)引擎相關(guān)聯(lián)參數(shù)比較多,以下列出主要影響數(shù)據(jù)庫(kù)性能的參數(shù)。
公共參數(shù)默認(rèn)值:
1
2
3
4
5
6
|
max_connections = 151
sort_buffer_size = 2M
open_files_limit = 1024
|
MyISAM參數(shù)默認(rèn)值:
1
2
3
4
5
6
7
8
9
10
|
key_buffer_size = 16M
read_buffer_size = 128K
query_cache_type = ON
query_cache_limit = 1M
query_cache_size = 16M
|
InnoDB參數(shù)默認(rèn)值:
1
2
3
4
5
6
7
8
9
10
|
innodb_buffer_pool_size = 128M
innodb_buffer_pool_instances = 1
innodb_flush_log_at_trx_commit = 1
innodb_file_per_table = OFF
innodb_log_buffer_size = 8M
|
3.2 系統(tǒng)內(nèi)核優(yōu)化
大多數(shù)MySQL都部署在linux系統(tǒng)上,所以操作系統(tǒng)的一些參數(shù)也會(huì)影響到MySQL性能,以下對(duì)linux內(nèi)核進(jìn)行適當(dāng)優(yōu)化。
1
2
3
4
5
6
7
8
9
10
|
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_tw_buckets = 4096
net.ipv4.tcp_max_syn_backlog = 4096
|
在linux系統(tǒng)中,如果進(jìn)程打開的文件句柄數(shù)量超過(guò)系統(tǒng)默認(rèn)值1024,就會(huì)提示“too many files open”信息,所以要調(diào)整打開文件句柄限制。
1
2
3
4
|
* soft nofile 65535
* hard nofile 65535
|
3.3 硬件配置
加大物理內(nèi)存,提高文件系統(tǒng)性能。linux內(nèi)核會(huì)從內(nèi)存中分配出緩存區(qū)(系統(tǒng)緩存和數(shù)據(jù)緩存)來(lái)存放熱數(shù)據(jù),通過(guò)文件系統(tǒng)延遲寫入機(jī)制,等滿足條件時(shí)(如緩存區(qū)大小到達(dá)一定百分比或者執(zhí)行sync命令)才會(huì)同步到磁盤。也就是說(shuō)物理內(nèi)存越大,分配緩存區(qū)越大,緩存數(shù)據(jù)越多。當(dāng)然,服務(wù)器故障會(huì)丟失一定的緩存數(shù)據(jù)。
SSD硬盤代替SAS硬盤,將RAID級(jí)別調(diào)整為RAID1+0,相對(duì)于RAID1和RAID5有更好的讀寫性能(IOPS),畢竟數(shù)據(jù)庫(kù)的壓力主要來(lái)自磁盤I/O方面。
4、數(shù)據(jù)庫(kù)架構(gòu)擴(kuò)展
隨著業(yè)務(wù)量越來(lái)越大,單臺(tái)數(shù)據(jù)庫(kù)服務(wù)器性能已無(wú)法滿足業(yè)務(wù)需求,該考慮加機(jī)器了,該做集群了~~~。主要思想是分解單臺(tái)數(shù)據(jù)庫(kù)負(fù)載,突破磁盤I/O性能,熱數(shù)據(jù)存放緩存中,降低磁盤I/O訪問(wèn)頻率。
4.1 主從復(fù)制與讀寫分離
因?yàn)樯a(chǎn)環(huán)境中,數(shù)據(jù)庫(kù)大多都是讀操作,所以部署一主多從架構(gòu),主數(shù)據(jù)庫(kù)負(fù)責(zé)寫操作,并做雙擊熱備,多臺(tái)從數(shù)據(jù)庫(kù)做負(fù)載均衡,負(fù)責(zé)讀操作,主流的負(fù)載均衡器有LVS、HAProxy、Nginx。
怎么來(lái)實(shí)現(xiàn)讀寫分離呢?大多數(shù)企業(yè)是在代碼層面實(shí)現(xiàn)讀寫分離,效率比較高。另一個(gè)種方式通過(guò)代理程序?qū)崿F(xiàn)讀寫分離,企業(yè)中應(yīng)用較少,常見(jiàn)代理程序有MySQL Proxy、Amoeba。在這樣數(shù)據(jù)庫(kù)集群架構(gòu)中,大大增加數(shù)據(jù)庫(kù)高并發(fā)能力,解決單臺(tái)性能瓶頸問(wèn)題。如果從數(shù)據(jù)庫(kù)一臺(tái)從庫(kù)能處理2000 QPS,那么5臺(tái)就能處理1w QPS,數(shù)據(jù)庫(kù)橫向擴(kuò)展性也很容易。
有時(shí),面對(duì)大量寫操作的應(yīng)用時(shí),單臺(tái)寫性能達(dá)不到業(yè)務(wù)需求。如果做雙主,就會(huì)遇到數(shù)據(jù)庫(kù)數(shù)據(jù)不一致現(xiàn)象,產(chǎn)生這個(gè)原因是在應(yīng)用程序不同的用戶會(huì)有可能操作兩臺(tái)數(shù)據(jù)庫(kù),同時(shí)的更新操作造成兩臺(tái)數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)數(shù)據(jù)發(fā)生沖突或者不一致。在單庫(kù)時(shí)MySQL利用存儲(chǔ)引擎機(jī)制表鎖和行鎖來(lái)保證數(shù)據(jù)完整性,怎樣在多臺(tái)主庫(kù)時(shí)解決這個(gè)問(wèn)題呢?有一套基于perl語(yǔ)言開發(fā)的主從復(fù)制管理工具,叫MySQL-MMM(Master-Master replication managerfor Mysql,Mysql主主復(fù)制管理器),這個(gè)工具最大的優(yōu)點(diǎn)是在同一時(shí)間只提供一臺(tái)數(shù)據(jù)庫(kù)寫操作,有效保證數(shù)據(jù)一致性。
4.2 增加緩存
給數(shù)據(jù)庫(kù)增加緩存系統(tǒng),把熱數(shù)據(jù)緩存到內(nèi)存中,如果緩存中有要請(qǐng)求的數(shù)據(jù)就不再去數(shù)據(jù)庫(kù)中返回結(jié)果,提高讀性能。緩存實(shí)現(xiàn)有本地緩存和分布式緩存,本地緩存是將數(shù)據(jù)緩存到本地服務(wù)器內(nèi)存中或者文件中。分布式緩存可以緩存海量數(shù)據(jù),擴(kuò)展性好,主流的分布式緩存系統(tǒng)有memcached、redis,memcached性能穩(wěn)定,數(shù)據(jù)緩存在內(nèi)存中,速度很快,QPS可達(dá)8w左右。如果想數(shù)據(jù)持久化就選擇用redis,性能不低于memcached。
工作過(guò)程:
4.3 分庫(kù)
分庫(kù)是根據(jù)業(yè)務(wù)不同把相關(guān)的表切分到不同的數(shù)據(jù)庫(kù)中,比如web、bbs、blog等庫(kù)。如果業(yè)務(wù)量很大,還可將切分后的庫(kù)做主從架構(gòu),進(jìn)一步避免單個(gè)庫(kù)壓力過(guò)大。
4.4 分表
數(shù)據(jù)量的日劇增加,數(shù)據(jù)庫(kù)中某個(gè)表有幾百萬(wàn)條數(shù)據(jù),導(dǎo)致查詢和插入耗時(shí)太長(zhǎng),怎么能解決單表壓力呢?你就該考慮是否把這個(gè)表拆分成多個(gè)小表,來(lái)減輕單個(gè)表的壓力,提高處理效率,此方式稱為分表。
分表技術(shù)比較麻煩,要修改程序代碼里的SQL語(yǔ)句,還要手動(dòng)去創(chuàng)建其他表,也可以用merge存儲(chǔ)引擎實(shí)現(xiàn)分表,相對(duì)簡(jiǎn)單許多。分表后,程序是對(duì)一個(gè)總表進(jìn)行操作,這個(gè)總表不存放數(shù)據(jù),只有一些分表的關(guān)系,以及更新數(shù)據(jù)的方式,總表會(huì)根據(jù)不同的查詢,將壓力分到不同的小表上,因此提高并發(fā)能力和磁盤I/O性能。
分表分為垂直拆分和水平拆分:
垂直拆分:把原來(lái)的一個(gè)很多字段的表拆分多個(gè)表,解決表的寬度問(wèn)題。你可以把不常用的字段單獨(dú)放到一個(gè)表中,也可以把大字段獨(dú)立放一個(gè)表中,或者把關(guān)聯(lián)密切的字段放一個(gè)表中。
水平拆分:把原來(lái)一個(gè)表拆分成多個(gè)表,每個(gè)表的結(jié)構(gòu)都一樣,解決單表數(shù)據(jù)量大的問(wèn)題。
4.5 分區(qū)
分區(qū)就是把一張表的數(shù)據(jù)根據(jù)表結(jié)構(gòu)中的字段(如range、list、hash等)分成多個(gè)區(qū)塊,這些區(qū)塊可以在一個(gè)磁盤上,也可以在不同的磁盤上,分區(qū)后,表面上還是一張表,但數(shù)據(jù)散列在多個(gè)位置,這樣一來(lái),多塊硬盤同時(shí)處理不同的請(qǐng)求,從而提高磁盤I/O讀寫性能,實(shí)現(xiàn)比較簡(jiǎn)單。
注:增加緩存、分庫(kù)、分表和分區(qū)主要由程序猿來(lái)實(shí)現(xiàn)。
5、數(shù)據(jù)庫(kù)維護(hù)
數(shù)據(jù)庫(kù)維護(hù)是運(yùn)維工程師或者DBA主要工作,包括性能監(jiān)控、性能分析、性能調(diào)優(yōu)、數(shù)據(jù)庫(kù)備份和恢復(fù)等。
5.1 性能狀態(tài)關(guān)鍵指標(biāo)
QPS,Queries Per Second:每秒查詢數(shù),一臺(tái)數(shù)據(jù)庫(kù)每秒能夠處理的查詢次數(shù)
TPS,Transactions Per Second:每秒處理事務(wù)數(shù)
通過(guò)show status查看運(yùn)行狀態(tài),會(huì)有300多條狀態(tài)信息記錄,其中有幾個(gè)值幫可以我們計(jì)算出QPS和TPS,如下:
Uptime:服務(wù)器已經(jīng)運(yùn)行的實(shí)際,單位秒
Questions:已經(jīng)發(fā)送給數(shù)據(jù)庫(kù)查詢數(shù)
Com_select:查詢次數(shù),實(shí)際操作數(shù)據(jù)庫(kù)的
Com_insert:插入次數(shù)
Com_delete:刪除次數(shù)
Com_update:更新次數(shù)
Com_commit:事務(wù)次數(shù)
Com_rollback:回滾次數(shù)
那么,計(jì)算方法來(lái)了,基于Questions計(jì)算出QPS:
1
2
|
mysql> show global status like 'Questions' ;
mysql> show global status like 'Uptime' ;
|
QPS = Questions / Uptime
基于Com_commit和Com_rollback計(jì)算出TPS:
1
2
3
|
mysql> show global status like 'Com_commit' ;
mysql> show global status like 'Com_rollback' ;
mysql> show global status like 'Uptime' ;
|
TPS = (Com_commit + Com_rollback) / Uptime
另一計(jì)算方式:基于Com_select、Com_insert、Com_delete、Com_update計(jì)算出QPS
1
|
mysql> show global status where Variable_name in ( 'com_select' , 'com_insert' , 'com_delete' , 'com_update' );
|
等待1秒再執(zhí)行,獲取間隔差值,第二次每個(gè)變量值減去第一次對(duì)應(yīng)的變量值,就是QPS
TPS計(jì)算方法:
1
|
mysql> show global status where Variable_name in ( 'com_insert' , 'com_delete' , 'com_update' );
|
計(jì)算TPS,就不算查詢操作了,計(jì)算出插入、刪除、更新四個(gè)值即可。
經(jīng)網(wǎng)友對(duì)這兩個(gè)計(jì)算方式的測(cè)試得出,當(dāng)數(shù)據(jù)庫(kù)中myisam表比較多時(shí),使用Questions計(jì)算比較準(zhǔn)確。當(dāng)數(shù)據(jù)庫(kù)中innodb表比較多時(shí),則以Com_*計(jì)算比較準(zhǔn)確。
5.2 開啟慢查詢?nèi)罩?/span>
MySQL開啟慢查詢?nèi)罩荆治龀瞿臈lSQL語(yǔ)句比較慢,使用set設(shè)置變量,重啟服務(wù)失效,可以在my.cnf添加參數(shù)永久生效。
1
2
3
4
|
mysql> set global slow-query-log=on
mysql> set global slow_query_log_file= '/var/log/mysql/mysql-slow.log' ;
mysql> set global log_queries_not_using_indexes=on;
mysql> set global long_query_time=1;
|
分析慢查詢?nèi)罩荆梢允褂肕ySQL自帶的mysqldumpslow工具,分析的日志較為簡(jiǎn)單。
# mysqldumpslow -t 3 /var/log/mysql/mysql-slow.log #查看最慢的前三個(gè)查詢
也可以使用percona公司的pt-query-digest工具,日志分析功能全面,可分析slow log、binlog、general log。
分析慢查詢?nèi)罩荆簆t-query-digest /var/log/mysql/mysql-slow.log
分析binlog日志:mysqlbinlog mysql-bin.000001 >mysql-bin.000001.sql
pt-query-digest --type=binlog mysql-bin.000001.sql
分析普通日志:pt-query-digest --type=genlog localhost.log
5.3 數(shù)據(jù)庫(kù)備份
備份數(shù)據(jù)庫(kù)是最基本的工作,也是最重要的,否則后果很嚴(yán)重,你懂得!但由于數(shù)據(jù)庫(kù)比較大,上百G,往往備份都很耗費(fèi)時(shí)間,所以就該選擇一個(gè)效率高的備份策略,對(duì)于數(shù)據(jù)量大的數(shù)據(jù)庫(kù),一般都采用增量備份。常用的備份工具有mysqldump、mysqlhotcopy、xtrabackup等,mysqldump比較適用于小的數(shù)據(jù)庫(kù),因?yàn)槭沁壿媯浞荩詡浞莺突謴?fù)耗時(shí)都比較長(zhǎng)。mysqlhotcopy和xtrabackup是物理備份,備份和恢復(fù)速度快,不影響數(shù)據(jù)庫(kù)服務(wù)情況下進(jìn)行熱拷貝,建議使用xtrabackup,支持增量備份。
5.4 數(shù)據(jù)庫(kù)修復(fù)
有時(shí)候MySQL服務(wù)器突然斷電、異常關(guān)閉,會(huì)導(dǎo)致表?yè)p壞,無(wú)法讀取表數(shù)據(jù)。這時(shí)就可以用到MySQL自帶的兩個(gè)工具進(jìn)行修復(fù),myisamchk和mysqlcheck。
myisamchk:只能修復(fù)myisam表,需要停止數(shù)據(jù)庫(kù)
常用參數(shù):
-f --force 強(qiáng)制修復(fù),覆蓋老的臨時(shí)文件,一般不使用
-r --recover 恢復(fù)模式
-q --quik 快速恢復(fù)
-a --analyze 分析表
-o --safe-recover 老的恢復(fù)模式,如果-r無(wú)法修復(fù),可以使用此參數(shù)試試
-F --fast 只檢查沒(méi)有正常關(guān)閉的表
快速修復(fù)weibo數(shù)據(jù)庫(kù):
# cd /var/lib/mysql/weibo
# myisamchk -r -q *.MYI
mysqlcheck:myisam和innodb表都可以用,不需要停止數(shù)據(jù)庫(kù),如修復(fù)單個(gè)表,可在數(shù)據(jù)庫(kù)后面添加表名,以空格分割
常用參數(shù):
-a --all-databases 檢查所有的庫(kù)
-r --repair 修復(fù)表
-c --check 檢查表,默認(rèn)選項(xiàng)
-a --analyze 分析表
-o --optimize 優(yōu)化表
-q --quik 最快檢查或修復(fù)表
-F --fast 只檢查沒(méi)有正常關(guān)閉的表
快速修復(fù)weibo數(shù)據(jù)庫(kù):
mysqlcheck -r -q -uroot -p123 weibo
以上是本人使用MySQL幾年來(lái)總結(jié)的一些主要優(yōu)化方案,能力有限,有些不太全面,但這些基本能夠滿足中小型企業(yè)數(shù)據(jù)庫(kù)需求。
由于關(guān)系型數(shù)據(jù)庫(kù)初衷設(shè)計(jì)限制,一些BAT公司海量數(shù)據(jù)放到關(guān)系型數(shù)據(jù)庫(kù)中,在海量數(shù)據(jù)查詢和分析方面已經(jīng)達(dá)不到更好的性能。因此NoSQL火起來(lái)了,非關(guān)系型數(shù)據(jù)庫(kù),大數(shù)據(jù)量,具有高性能,同時(shí)也彌補(bǔ)了關(guān)系型數(shù)據(jù)庫(kù)某方面不足,漸漸大多數(shù)公司已經(jīng)將部分業(yè)務(wù)數(shù)據(jù)庫(kù)存放到NoSQL中,如MongoDB、HBase等。數(shù)據(jù)存儲(chǔ)方面采用分布式文件系統(tǒng),如HDFS、GFS等。海量數(shù)據(jù)計(jì)算分析采用Hadoop、Spark、Storm等。這些都是與運(yùn)維相關(guān)的前沿技術(shù),也是在存儲(chǔ)方面主要學(xué)習(xí)對(duì)象,小伙伴們共同加油吧!哪位博友有更好的優(yōu)化方案,歡迎交流哦。