前言

今天我們來(lái)聊聊“問(wèn)題排查”這個(gè)話題，本人到目前為止還在參與一線運(yùn)維的工作，遇到過(guò)很多“稀奇古怪”的線上故障和問(wèn)題，結(jié)合SRE中給出的一些方法，來(lái)說(shuō)說(shuō)“問(wèn)題排查”那點(diǎn)事。

排查問(wèn)題不是玄學(xué)

排查出線上問(wèn)題，并找到根本原因加以解決，是一件很有成就感的事情，曾經(jīng)有人問(wèn)過(guò)我，“你是怎么想到問(wèn)題出現(xiàn)在xxx的？又是怎么確認(rèn)根本原因是xxx的？”，我只能淡淡的說(shuō)：“靠經(jīng)驗(yàn)”，然后感覺(jué)這個(gè)逼裝的自己還算滿意。

其實(shí)這個(gè)“靠經(jīng)驗(yàn)”說(shuō)的很模糊，一直以來(lái)，大家都覺(jué)得排查問(wèn)題要靠經(jīng)驗(yàn)，但是又說(shuō)不出具體通過(guò)啥經(jīng)驗(yàn)排查出了問(wèn)題，最后讓排查問(wèn)題逐漸變成了一門玄學(xué)。

排查問(wèn)題猶如破案

排查線上問(wèn)題，就和偵探破案一樣，就是一個(gè)不停分析線索，推理的過(guò)程，在你準(zhǔn)備破案之前，先要明確以下兩點(diǎn)。

系統(tǒng)異常是正常的，正常是特例

時(shí)至今日，計(jì)算機(jī)系統(tǒng)已經(jīng)變得異常復(fù)雜，一次用戶請(qǐng)求可能要經(jīng)過(guò)發(fā)送請(qǐng)求，DNS解析，運(yùn)營(yíng)商網(wǎng)絡(luò)和IP轉(zhuǎn)換，負(fù)載均衡，服務(wù)器硬件，虛擬機(jī)/容器,視業(yè)務(wù)邏輯的復(fù)雜程度，可能還要調(diào)用其它組件，存儲(chǔ)，數(shù)據(jù)庫(kù)，緩存等。每個(gè)環(huán)節(jié)都可能出現(xiàn)問(wèn)題，有的組件又是分布式的，大大增加的排查問(wèn)題的難度。

所以出現(xiàn)問(wèn)題后，不要著急，保持好心態(tài)，要認(rèn)為“系統(tǒng)異常是正常的，正常是特例”。

飛行員首要任務(wù)是保持飛機(jī)飛行

在初級(jí)飛行員的課程中撿到，在緊急情況中，飛行員的首要任務(wù)是保持飛機(jī)飛行，相比保證乘客與飛機(jī)安全著陸，故障定位和排除是次要目標(biāo)。—SRE

所以，恢復(fù)線上系統(tǒng)是首要任務(wù)，而不是找到它發(fā)生的原因。

明確案情

先評(píng)估出這個(gè)問(wèn)題的影響范圍，是全網(wǎng)用戶不可用，還是某些用戶，是某條業(yè)務(wù)線出現(xiàn)問(wèn)題，還是很多業(yè)務(wù)線都出現(xiàn)問(wèn)題，評(píng)估出案情的大小，是普通的民事案件，還是刑事案件。

真相只有一個(gè)

計(jì)算機(jī)是一門科學(xué)，而且計(jì)算機(jī)是由0|1組成的世界，在這個(gè)世界里只有“是或否”，沒(méi)有中間地帶，所以在計(jì)算機(jī)世界“凡事都有根本原因”，“沒(méi)有偶然發(fā)生，一切都是必然”。

所以，你要堅(jiān)信真相只有一個(gè)。

理清線索

理清目前得到的線索和信息，比如監(jiān)控上有網(wǎng)絡(luò)報(bào)警，有用戶反饋無(wú)法訪問(wèn)，有開(kāi)發(fā)人員反饋服務(wù)器有問(wèn)題，不要漏掉看似無(wú)關(guān)緊要的線索，把這些線索先整理下來(lái)，后面一并分析。

擴(kuò)大信息量

盡可能擴(kuò)大你接受到的信息量，比如問(wèn)詢一下開(kāi)發(fā)人員今天有沒(méi)有做線上改動(dòng)，網(wǎng)絡(luò)組有無(wú)重大調(diào)整。獲取到有價(jià)值的信息，對(duì)于排查問(wèn)題至關(guān)重要。

查看監(jiān)控，細(xì)看某個(gè)監(jiān)控項(xiàng)的變化，追蹤日志和調(diào)試信息都是擴(kuò)大信息量的手段。

分析證詞

分析用戶反饋的現(xiàn)象，數(shù)據(jù)是可信的，有時(shí)候人說(shuō)的是不可信的，舉個(gè)例子，之前有開(kāi)發(fā)反饋我們虛擬機(jī)有問(wèn)題，有些虛擬機(jī)接口返回異常，有些正常，他就讓我們幫查查虛擬機(jī)的問(wèn)題，但是最后是代碼調(diào)用一處動(dòng)態(tài)配置造成的。

很多反饋的信息描述，是經(jīng)過(guò)描述者過(guò)濾加工過(guò)的信息，他的排查和分析有可能把你“帶歪了”，先要用懷疑的態(tài)度，分析每個(gè)人的證詞。

當(dāng)你聽(tīng)到蹄子聲響時(shí)，應(yīng)該先想到馬，而不是斑馬

排查問(wèn)題不要先入為主，有時(shí)候你覺(jué)得極其簡(jiǎn)單，看似非常不可能發(fā)生的事情，可能就是原因，不要輕易的排除掉某項(xiàng)原因，比如“宇宙射線導(dǎo)致某個(gè)電路信號(hào)出錯(cuò)”。

我們之前有個(gè)mysql連接異常的問(wèn)題，查了很久，做了很多調(diào)優(yōu)都沒(méi)有解決，最后發(fā)現(xiàn)是網(wǎng)卡跑滿了。

從大到小，從上到下

排查步驟，先“從大到小”，先看比如運(yùn)營(yíng)商網(wǎng)絡(luò)，機(jī)房狀態(tài)等比較宏觀的地方是否有問(wèn)題，逐一排除，逐步縮小問(wèn)題范圍。“從上到下”，先從現(xiàn)象發(fā)生的頂端調(diào)用鏈逐一排查，逐步向下深入。

SRE給出的一些方法

SRE給出了一些方法可以借鑒：

• 問(wèn)題排查的幾個(gè)步驟：定位，檢查，診斷，測(cè)試/修復(fù)，治愈。

• 什么，哪里和為什么，找出系統(tǒng)正在執(zhí)行“什么”，詢問(wèn)系統(tǒng)“為什么”執(zhí)行這些操作，以及系統(tǒng)的資源都被用在了“哪里”可以幫助你了解系統(tǒng)為什么出錯(cuò)。

• 確定“最后一個(gè)修改”發(fā)生的時(shí)間。

• 提供豐富的診斷和監(jiān)控工具。