www.e4938.cn-老师你下面太紧了拔不出来,99re8这里有精品热视频免费,国产第一视频一区二区三区,青青草国产成人久久

<button id="60qo0"></button>

<strike id="60qo0"></strike>
<del id="60qo0"></del>
<fieldset id="60qo0"><menu id="60qo0"></menu></fieldset>
  • 運維角度淺談MySQL數(shù)據(jù)庫優(yōu)化

    2017-12-12 20:16:39 csdn  點擊量: 評論 (0)
    一個成熟的數(shù)據(jù)庫架構(gòu)并不是一開始設(shè)計就具備高可用、高伸縮等特性的,它是隨著用戶量的增加,基礎(chǔ)架構(gòu)才逐漸完善。這篇博文主要談MySQL數(shù)據(jù)庫發(fā)展周期中所面臨的問題及優(yōu)化方案
        一個成熟的數(shù)據(jù)庫架構(gòu)并不是一開始設(shè)計就具備高可用、高伸縮等特性的,它是隨著用戶量的增加,基礎(chǔ)架構(gòu)才逐漸完善。這篇博文主要談MySQL數(shù)據(jù)庫發(fā)展周期中所面臨的問題及優(yōu)化方案,暫且拋開前端應(yīng)用不說,大致分為以下五個階段:

     

    1、數(shù)據(jù)庫表設(shè)計

      項目立項后,開發(fā)部根據(jù)產(chǎn)品部需求開發(fā)項目,開發(fā)工程師工作其中一部分就是對表結(jié)構(gòu)設(shè)計。對于數(shù)據(jù)庫來說,這點很重要,如果設(shè)計不當(dāng),會直接影響訪問速度和用戶體驗。影響的因素很多,比如慢查詢、低效的查詢語句、沒有適當(dāng)建立索引、數(shù)據(jù)庫堵塞(死鎖)等。當(dāng)然,有測試工程師的團隊,會做壓力測試,找bug。對于沒有測試工程師的團隊來說,大多數(shù)開發(fā)工程師初期不會太多考慮數(shù)據(jù)庫設(shè)計是否合理,而是盡快完成功能實現(xiàn)和交付,等項目有一定訪問量后,隱藏的問題就會暴露,這時再去修改就不是這么容易的事了。

     

    2、數(shù)據(jù)庫部署

      該運維工程師出場了,項目初期訪問量不會很大,所以單臺部署足以應(yīng)對在1500左右的QPS(每秒查詢率)。考慮到高可用性,可采用MySQL主從復(fù)制+Keepalived做雙擊熱備,常見集群軟件有Keepalived、Heartbeat。

     

    3、數(shù)據(jù)庫性能優(yōu)化

      如果將MySQL部署到普通的X86服務(wù)器上,在不經(jīng)過任何優(yōu)化情況下,MySQL理論值正常可以處理2000左右QPS,經(jīng)過優(yōu)化后,有可能會提升到2500左右QPS,否則,訪問量當(dāng)達到1500左右并發(fā)連接時,數(shù)據(jù)庫處理性能就會變慢,而且硬件資源還很富裕,這時就該考慮軟件問題了。那么怎樣讓數(shù)據(jù)庫最大化發(fā)揮性能呢?一方面可以單臺運行多個MySQL實例讓服務(wù)器性能發(fā)揮到最大化,另一方面是對數(shù)據(jù)庫進行優(yōu)化,往往操作系統(tǒng)和數(shù)據(jù)庫默認配置都比較保守,會對數(shù)據(jù)庫發(fā)揮有一定限制,可對這些配置進行適當(dāng)?shù)恼{(diào)整,盡可能的處理更多連接數(shù)。

    具體優(yōu)化有以下三個層面:

      3.1 數(shù)據(jù)庫配置優(yōu)化

      MySQL常用有兩種存儲引擎,一個是MyISAM,不支持事務(wù)處理,讀性能處理快,表級別鎖。另一個是InnoDB,支持事務(wù)處理(ACID),設(shè)計目標是為處理大容量數(shù)據(jù)發(fā)揮最大化性能,行級別鎖。

      表鎖:開銷小,鎖定粒度大,發(fā)生死鎖概率高,相對并發(fā)也低。

      行鎖:開銷大,鎖定粒度小,發(fā)生死鎖概率低,相對并發(fā)也高。

      為什么會出現(xiàn)表鎖和行鎖呢?主要是為了保證數(shù)據(jù)的完整性,舉個例子,一個用戶在操作一張表,其他用戶也想操作這張表,那么就要等第一個用戶操作完,其他用戶才能操作,表鎖和行鎖就是這個作用。否則多個用戶同時操作一張表,肯定會數(shù)據(jù)產(chǎn)生沖突或者異常。

      根據(jù)以上看來,使用InnoDB存儲引擎是最好的選擇,也是MySQL5.5以后版本中默認存儲引擎。每個存儲引擎相關(guān)聯(lián)參數(shù)比較多,以下列出主要影響數(shù)據(jù)庫性能的參數(shù)。

      公共參數(shù)默認值:

    1
    2
    3
    4
    5
    6
    max_connections = 151
    #同時處理最大連接數(shù),推薦設(shè)置最大連接數(shù)是上限連接數(shù)的80%左右   
    sort_buffer_size = 2M
    #查詢排序時緩沖區(qū)大小,只對order by和group by起作用,可增大此值為16M
    open_files_limit = 1024 
    #打開文件數(shù)限制,如果show global status like 'open_files'查看的值等于或者大于open_files_limit值時,程序會無法連接數(shù)據(jù)庫或卡死

      MyISAM參數(shù)默認值:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    key_buffer_size = 16M
    #索引緩存區(qū)大小,一般設(shè)置物理內(nèi)存的30-40%
    read_buffer_size = 128K  
    #讀操作緩沖區(qū)大小,推薦設(shè)置16M或32M
    query_cache_type = ON
    #打開查詢緩存功能
    query_cache_limit = 1M  
    #查詢緩存限制,只有1M以下查詢結(jié)果才會被緩存,以免結(jié)果數(shù)據(jù)較大把緩存池覆蓋
    query_cache_size = 16M  
    #查看緩沖區(qū)大小,用于緩存SELECT查詢結(jié)果,下一次有同樣SELECT查詢將直接從緩存池返回結(jié)果,可適當(dāng)成倍增加此值

      InnoDB參數(shù)默認值:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    innodb_buffer_pool_size = 128M
    #索引和數(shù)據(jù)緩沖區(qū)大小,一般設(shè)置物理內(nèi)存的60%-70%
    innodb_buffer_pool_instances = 1    
    #緩沖池實例個數(shù),推薦設(shè)置4個或8個
    innodb_flush_log_at_trx_commit = 1  
    #關(guān)鍵參數(shù),0代表大約每秒寫入到日志并同步到磁盤,數(shù)據(jù)庫故障會丟失1秒左右事務(wù)數(shù)據(jù)。1為每執(zhí)行一條SQL后寫入到日志并同步到磁盤,I/O開銷大,執(zhí)行完SQL要等待日志讀寫,效率低。2代表只把日志寫入到系統(tǒng)緩存區(qū),再每秒同步到磁盤,效率很高,如果服務(wù)器故障,才會丟失事務(wù)數(shù)據(jù)。對數(shù)據(jù)安全性要求不是很高的推薦設(shè)置2,性能高,修改后效果明顯。
    innodb_file_per_table = OFF  
    #默認是共享表空間,共享表空間idbdata文件不斷增大,影響一定的I/O性能。推薦開啟獨立表空間模式,每個表的索引和數(shù)據(jù)都存在自己獨立的表空間中,可以實現(xiàn)單表在不同數(shù)據(jù)庫中移動。
    innodb_log_buffer_size = 8M  
    #日志緩沖區(qū)大小,由于日志最長每秒鐘刷新一次,所以一般不用超過16M

      3.2 系統(tǒng)內(nèi)核優(yōu)化

      大多數(shù)MySQL都部署在linux系統(tǒng)上,所以操作系統(tǒng)的一些參數(shù)也會影響到MySQL性能,以下對linux內(nèi)核進行適當(dāng)優(yōu)化。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    net.ipv4.tcp_fin_timeout = 30
    #TIME_WAIT超時時間,默認是60s
    net.ipv4.tcp_tw_reuse = 1    
    #1表示開啟復(fù)用,允許TIME_WAIT socket重新用于新的TCP連接,0表示關(guān)閉
    net.ipv4.tcp_tw_recycle = 1  
    #1表示開啟TIME_WAIT socket快速回收,0表示關(guān)閉
    net.ipv4.tcp_max_tw_buckets = 4096   
    #系統(tǒng)保持TIME_WAIT socket最大數(shù)量,如果超出這個數(shù),系統(tǒng)將隨機清除一些TIME_WAIT并打印警告信息
    net.ipv4.tcp_max_syn_backlog = 4096
    #進入SYN隊列最大長度,加大隊列長度可容納更多的等待連接

      在linux系統(tǒng)中,如果進程打開的文件句柄數(shù)量超過系統(tǒng)默認值1024,就會提示“too many files open”信息,所以要調(diào)整打開文件句柄限制。

    1
    2
    3
    4
    # vi /etc/security/limits.conf  #加入以下配置,*代表所有用戶,也可以指定用戶,重啟系統(tǒng)生效
    * soft nofile 65535
    * hard nofile 65535
    # ulimit -SHn 65535   #立刻生效

      3.3 硬件配置

      加大物理內(nèi)存,提高文件系統(tǒng)性能。linux內(nèi)核會從內(nèi)存中分配出緩存區(qū)(系統(tǒng)緩存和數(shù)據(jù)緩存)來存放熱數(shù)據(jù),通過文件系統(tǒng)延遲寫入機制,等滿足條件時(如緩存區(qū)大小到達一定百分比或者執(zhí)行sync命令)才會同步到磁盤。也就是說物理內(nèi)存越大,分配緩存區(qū)越大,緩存數(shù)據(jù)越多。當(dāng)然,服務(wù)器故障會丟失一定的緩存數(shù)據(jù)。

      SSD硬盤代替SAS硬盤,將RAID級別調(diào)整為RAID1+0,相對于RAID1和RAID5有更好的讀寫性能(IOPS),畢竟數(shù)據(jù)庫的壓力主要來自磁盤I/O方面。

     

    4、數(shù)據(jù)庫架構(gòu)擴展

      隨著業(yè)務(wù)量越來越大,單臺數(shù)據(jù)庫服務(wù)器性能已無法滿足業(yè)務(wù)需求,該考慮加機器了,該做集群了~~~。主要思想是分解單臺數(shù)據(jù)庫負載,突破磁盤I/O性能,熱數(shù)據(jù)存放緩存中,降低磁盤I/O訪問頻率。

      4.1 主從復(fù)制與讀寫分離

      因為生產(chǎn)環(huán)境中,數(shù)據(jù)庫大多都是讀操作,所以部署一主多從架構(gòu),主數(shù)據(jù)庫負責(zé)寫操作,并做雙擊熱備,多臺從數(shù)據(jù)庫做負載均衡,負責(zé)讀操作,主流的負載均衡器有LVS、HAProxy、Nginx。

      怎么來實現(xiàn)讀寫分離呢?大多數(shù)企業(yè)是在代碼層面實現(xiàn)讀寫分離,效率比較高。另一個種方式通過代理程序?qū)崿F(xiàn)讀寫分離,企業(yè)中應(yīng)用較少,常見代理程序有MySQL Proxy、Amoeba。在這樣數(shù)據(jù)庫集群架構(gòu)中,大大增加數(shù)據(jù)庫高并發(fā)能力,解決單臺性能瓶頸問題。如果從數(shù)據(jù)庫一臺從庫能處理2000 QPS,那么5臺就能處理1w QPS,數(shù)據(jù)庫橫向擴展性也很容易。

      有時,面對大量寫操作的應(yīng)用時,單臺寫性能達不到業(yè)務(wù)需求。如果做雙主,就會遇到數(shù)據(jù)庫數(shù)據(jù)不一致現(xiàn)象,產(chǎn)生這個原因是在應(yīng)用程序不同的用戶會有可能操作兩臺數(shù)據(jù)庫,同時的更新操作造成兩臺數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)發(fā)生沖突或者不一致。在單庫時MySQL利用存儲引擎機制表鎖和行鎖來保證數(shù)據(jù)完整性,怎樣在多臺主庫時解決這個問題呢?有一套基于perl語言開發(fā)的主從復(fù)制管理工具,叫MySQL-MMM(Master-Master replication managerfor Mysql,Mysql主主復(fù)制管理器),這個工具最大的優(yōu)點是在同一時間只提供一臺數(shù)據(jù)庫寫操作,有效保證數(shù)據(jù)一致性。

      4.2 增加緩存

      給數(shù)據(jù)庫增加緩存系統(tǒng),把熱數(shù)據(jù)緩存到內(nèi)存中,如果緩存中有要請求的數(shù)據(jù)就不再去數(shù)據(jù)庫中返回結(jié)果,提高讀性能。緩存實現(xiàn)有本地緩存和分布式緩存,本地緩存是將數(shù)據(jù)緩存到本地服務(wù)器內(nèi)存中或者文件中。分布式緩存可以緩存海量數(shù)據(jù),擴展性好,主流的分布式緩存系統(tǒng)有memcached、redis,memcached性能穩(wěn)定,數(shù)據(jù)緩存在內(nèi)存中,速度很快,QPS可達8w左右。如果想數(shù)據(jù)持久化就選擇用redis,性能不低于memcached。

      工作過程:

      wKiom1VukrqyM-JcAABPhCy-LOM409.jpg

      4.3 分庫

      分庫是根據(jù)業(yè)務(wù)不同把相關(guān)的表切分到不同的數(shù)據(jù)庫中,比如web、bbs、blog等庫。如果業(yè)務(wù)量很大,還可將切分后的庫做主從架構(gòu),進一步避免單個庫壓力過大。

      4.4 分表

      數(shù)據(jù)量的日劇增加,數(shù)據(jù)庫中某個表有幾百萬條數(shù)據(jù),導(dǎo)致查詢和插入耗時太長,怎么能解決單表壓力呢?你就該考慮是否把這個表拆分成多個小表,來減輕單個表的壓力,提高處理效率,此方式稱為分表。

      分表技術(shù)比較麻煩,要修改程序代碼里的SQL語句,還要手動去創(chuàng)建其他表,也可以用merge存儲引擎實現(xiàn)分表,相對簡單許多。分表后,程序是對一個總表進行操作,這個總表不存放數(shù)據(jù),只有一些分表的關(guān)系,以及更新數(shù)據(jù)的方式,總表會根據(jù)不同的查詢,將壓力分到不同的小表上,因此提高并發(fā)能力和磁盤I/O性能。

      分表分為垂直拆分和水平拆分:

      垂直拆分:把原來的一個很多字段的表拆分多個表,解決表的寬度問題。你可以把不常用的字段單獨放到一個表中,也可以把大字段獨立放一個表中,或者把關(guān)聯(lián)密切的字段放一個表中。

      水平拆分:把原來一個表拆分成多個表,每個表的結(jié)構(gòu)都一樣,解決單表數(shù)據(jù)量大的問題。

      4.5 分區(qū)

      分區(qū)就是把一張表的數(shù)據(jù)根據(jù)表結(jié)構(gòu)中的字段(如range、list、hash等)分成多個區(qū)塊,這些區(qū)塊可以在一個磁盤上,也可以在不同的磁盤上,分區(qū)后,表面上還是一張表,但數(shù)據(jù)散列在多個位置,這樣一來,多塊硬盤同時處理不同的請求,從而提高磁盤I/O讀寫性能,實現(xiàn)比較簡單。

     

    注:增加緩存、分庫、分表和分區(qū)主要由程序猿來實現(xiàn)。

     

    5、數(shù)據(jù)庫維護

      數(shù)據(jù)庫維護是運維工程師或者DBA主要工作,包括性能監(jiān)控、性能分析、性能調(diào)優(yōu)、數(shù)據(jù)庫備份和恢復(fù)等。

      5.1 性能狀態(tài)關(guān)鍵指標

      QPS,Queries Per Second:每秒查詢數(shù),一臺數(shù)據(jù)庫每秒能夠處理的查詢次數(shù)

      TPS,Transactions Per Second:每秒處理事務(wù)數(shù)

      通過show status查看運行狀態(tài),會有300多條狀態(tài)信息記錄,其中有幾個值幫可以我們計算出QPS和TPS,如下:

      Uptime:服務(wù)器已經(jīng)運行的實際,單位秒

      Questions:已經(jīng)發(fā)送給數(shù)據(jù)庫查詢數(shù)

      Com_select:查詢次數(shù),實際操作數(shù)據(jù)庫的

      Com_insert:插入次數(shù)

      Com_delete:刪除次數(shù)

      Com_update:更新次數(shù)

      Com_commit:事務(wù)次數(shù)

      Com_rollback:回滾次數(shù)

      那么,計算方法來了,基于Questions計算出QPS:

    1
    2
      mysql> show global status like 'Questions';
      mysql> show global status like 'Uptime';

      QPS = Questions / Uptime

      基于Com_commit和Com_rollback計算出TPS:

    1
    2
    3
      mysql> show global status like 'Com_commit';
      mysql> show global status like 'Com_rollback';
      mysql> show global status like 'Uptime';

      TPS = (Com_commit + Com_rollback) / Uptime

      另一計算方式:基于Com_select、Com_insert、Com_delete、Com_update計算出QPS

    1
      mysql> show global status where Variable_name in('com_select','com_insert','com_delete','com_update');

      等待1秒再執(zhí)行,獲取間隔差值,第二次每個變量值減去第一次對應(yīng)的變量值,就是QPS

      TPS計算方法:

    1
      mysql> show global status where Variable_name in('com_insert','com_delete','com_update');

      計算TPS,就不算查詢操作了,計算出插入、刪除、更新四個值即可。

      經(jīng)網(wǎng)友對這兩個計算方式的測試得出,當(dāng)數(shù)據(jù)庫中myisam表比較多時,使用Questions計算比較準確。當(dāng)數(shù)據(jù)庫中innodb表比較多時,則以Com_*計算比較準確。

      5.2 開啟慢查詢?nèi)罩?/span>

      MySQL開啟慢查詢?nèi)罩荆治龀瞿臈lSQL語句比較慢,使用set設(shè)置變量,重啟服務(wù)失效,可以在my.cnf添加參數(shù)永久生效。

    1
    2
    3
    4
    mysql> set global slow-query-log=on  #開啟慢查詢功能
    mysql> set global slow_query_log_file='/var/log/mysql/mysql-slow.log';  #指定慢查詢?nèi)罩疚募恢?/code>
    mysql> set global log_queries_not_using_indexes=on;   #記錄沒有使用索引的查詢
    mysql> set global long_query_time=1;   #只記錄處理時間1s以上的慢查詢

      分析慢查詢?nèi)罩荆梢允褂肕ySQL自帶的mysqldumpslow工具,分析的日志較為簡單。

      # mysqldumpslow -t 3 /var/log/mysql/mysql-slow.log    #查看最慢的前三個查詢

      也可以使用percona公司的pt-query-digest工具,日志分析功能全面,可分析slow log、binlog、general log。

      分析慢查詢?nèi)罩荆簆t-query-digest /var/log/mysql/mysql-slow.log

      分析binlog日志:mysqlbinlog mysql-bin.000001 >mysql-bin.000001.sql 

      pt-query-digest --type=binlog mysql-bin.000001.sql 

      分析普通日志:pt-query-digest --type=genlog localhost.log

      5.3 數(shù)據(jù)庫備份

      備份數(shù)據(jù)庫是最基本的工作,也是最重要的,否則后果很嚴重,你懂得!但由于數(shù)據(jù)庫比較大,上百G,往往備份都很耗費時間,所以就該選擇一個效率高的備份策略,對于數(shù)據(jù)量大的數(shù)據(jù)庫,一般都采用增量備份。常用的備份工具有mysqldump、mysqlhotcopy、xtrabackup等,mysqldump比較適用于小的數(shù)據(jù)庫,因為是邏輯備份,所以備份和恢復(fù)耗時都比較長。mysqlhotcopy和xtrabackup是物理備份,備份和恢復(fù)速度快,不影響數(shù)據(jù)庫服務(wù)情況下進行熱拷貝,建議使用xtrabackup,支持增量備份。

      5.4 數(shù)據(jù)庫修復(fù)

      有時候MySQL服務(wù)器突然斷電、異常關(guān)閉,會導(dǎo)致表損壞,無法讀取表數(shù)據(jù)。這時就可以用到MySQL自帶的兩個工具進行修復(fù),myisamchk和mysqlcheck。

      myisamchk:只能修復(fù)myisam表,需要停止數(shù)據(jù)庫

      常用參數(shù):

      -f --force    強制修復(fù),覆蓋老的臨時文件,一般不使用

      -r --recover  恢復(fù)模式

      -q --quik     快速恢復(fù)

      -a --analyze  分析表

      -o --safe-recover 老的恢復(fù)模式,如果-r無法修復(fù),可以使用此參數(shù)試試

      -F --fast     只檢查沒有正常關(guān)閉的表

      快速修復(fù)weibo數(shù)據(jù)庫:

      # cd /var/lib/mysql/weibo 

      # myisamchk -r -q *.MYI

      mysqlcheck:myisam和innodb表都可以用,不需要停止數(shù)據(jù)庫,如修復(fù)單個表,可在數(shù)據(jù)庫后面添加表名,以空格分割

      常用參數(shù):

      -a  --all-databases  檢查所有的庫

      -r  --repair   修復(fù)表

      -c  --check    檢查表,默認選項

      -a  --analyze  分析表

      -o  --optimize 優(yōu)化表

      -q  --quik   最快檢查或修復(fù)表

      -F  --fast   只檢查沒有正常關(guān)閉的表

      快速修復(fù)weibo數(shù)據(jù)庫:

      mysqlcheck -r -q -uroot -p123 weibo 

     

     

      以上是本人使用MySQL幾年來總結(jié)的一些主要優(yōu)化方案,能力有限,有些不太全面,但這些基本能夠滿足中小型企業(yè)數(shù)據(jù)庫需求。

      由于關(guān)系型數(shù)據(jù)庫初衷設(shè)計限制,一些BAT公司海量數(shù)據(jù)放到關(guān)系型數(shù)據(jù)庫中,在海量數(shù)據(jù)查詢和分析方面已經(jīng)達不到更好的性能。因此NoSQL火起來了,非關(guān)系型數(shù)據(jù)庫,大數(shù)據(jù)量,具有高性能,同時也彌補了關(guān)系型數(shù)據(jù)庫某方面不足,漸漸大多數(shù)公司已經(jīng)將部分業(yè)務(wù)數(shù)據(jù)庫存放到NoSQL中,如MongoDB、HBase等。數(shù)據(jù)存儲方面采用分布式文件系統(tǒng),如HDFS、GFS等。海量數(shù)據(jù)計算分析采用Hadoop、Spark、Storm等。這些都是與運維相關(guān)的前沿技術(shù),也是在存儲方面主要學(xué)習(xí)對象,小伙伴們共同加油吧!哪位博友有更好的優(yōu)化方案,歡迎交流哦。

     
    大云網(wǎng)官方微信售電那點事兒

    責(zé)任編輯:售電衡衡

    免責(zé)聲明:本文僅代表作者個人觀點,與本站無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實,對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關(guān)內(nèi)容。
    我要收藏
    個贊
    ?
    国产a一级无码毛片一区二区三区| 精品一区二区在线观看| 午夜福利视频| 99热这里只有国产中文精品国产| 99热这里有精品亚洲国产欧美日韩精品精品| 无码专区―va亚洲v专区在线| 国产精品无码久久久久成人影院| 欧美人妻精品一区二区三区| 麻花传md0174沈娜娜| 国产AⅤ精品一区二区三区久久|