運維中的數(shù)據(jù)運營“數(shù)據(jù)的認識和應用

2017-12-19 20:25:54 運維網(wǎng)咖社　點擊量：評論 (0)

基于一線工作中的積累和認識，早就想寫一篇數(shù)據(jù)題材的文章了，因為各種事情一直拖了又拖，其實就是拖延癌在作祟，再就是文筆差、落字慢，腦袋里框架清晰可到了指尖卻敲不出幾個字，悔透了上學時沒好好背書沒

基于一線工作中的積累和認識，早就想寫一篇數(shù)據(jù)題材的文章了，因為各種事情一直拖了又拖，其實就是拖延癌在作祟，再就是文筆差、落字慢，腦袋里框架清晰可到了指尖卻敲不出幾個字，悔透了上學時沒好好背書沒好好看文學巨著，各位朋友一定要以我為鑒，好了轉(zhuǎn)入正題。
  隨著行業(yè)的發(fā)展，運維職能在發(fā)生微妙的變化，現(xiàn)在談何為運維，其實運維在我看來更像是技術運營，通過運營的方式技術的手段牽頭協(xié)同各部門來保證產(chǎn)品的SLA（服務質(zhì)量），控制產(chǎn)品的成本和可管理性。作為技術運營來說，最重要的是拿到各種信息來描述產(chǎn)品的各種指標，也就是通過數(shù)據(jù)將產(chǎn)品的形態(tài)畫出來，然后通過這些指標形成合理的產(chǎn)品決策和戰(zhàn)略方案建議，那么這么信息從哪里來呢，不錯，就是從數(shù)據(jù)中來，所以產(chǎn)品中數(shù)據(jù)的應用是運維工作中最重要的一環(huán)。
  一個產(chǎn)品在運行中會產(chǎn)生各種數(shù)據(jù)，而產(chǎn)品的健康情況、業(yè)務指標就藏在這些海量的數(shù)據(jù)里，數(shù)據(jù)通過匯聚整理形成有組織的信息，這些信息服務于運維就是監(jiān)控告警、異常檢測、apm等，服務于業(yè)務部門就是DAU、PV、UV等各種運營指標，服務于老板就用于公司決策，繼續(xù)對這些信息進行歸納總結形成知識，對處理方式進行歸納總結形成經(jīng)驗，對經(jīng)驗抽象總結形成方法論也就是規(guī)律。現(xiàn)在是概念橫飛的時代，為了展現(xiàn)技術的先進，什么熱炒什么，但作為一個一線的從業(yè)者還是要剖開表象看本質(zhì)，對于事物的認識必將經(jīng)歷知道、不知道、再知道和簡單、復雜再簡單的過程，到了第三個階段可以說是真正知道了，PS現(xiàn)在熱炒的機器學習等說到底其實就是改變在某一個點的數(shù)據(jù)處理操作，不要把它神化了。
  回歸到“運維中的數(shù)據(jù)應用”的主題，我認為數(shù)據(jù)應用中最重要的有三個環(huán)節(jié)：采數(shù)據(jù)、管數(shù)據(jù)、用數(shù)據(jù)，其中偏技術能力的是采數(shù)據(jù)、管數(shù)據(jù)，比如說從海量數(shù)據(jù)里實時匯聚計算出有用的數(shù)據(jù)按照特定條件發(fā)送給相關人，1G、2G的數(shù)據(jù)好處理，但是1T、2T數(shù)據(jù)的實時處理就是個技術工作了，這也是考驗運維人員技術能力的一個點，而用數(shù)據(jù)更多的是業(yè)務能力，業(yè)務場景的建模。在運維工作中，我們將服務器的CPU、內(nèi)存、IO、網(wǎng)絡等基礎指標進行采集，對業(yè)務日志進行采集，對依賴資源的健康情況進行采集，形成一個龐大的基礎數(shù)據(jù)源，對這些數(shù)據(jù)進行實時收斂畫成曲線就形成了監(jiān)控，對監(jiān)控繼續(xù)收斂將一些能反應業(yè)務健康指標的項提煉出來并加上觸發(fā)器就形成了告警，這些監(jiān)控和告警都是需要管理的，因此就誕生了監(jiān)控告警管理系統(tǒng)，但是有了監(jiān)控告警并不能根本解決問題，你還需要看到一些詳細的信息，就有了日志分析系統(tǒng)........自然而然的一環(huán)扣一環(huán)的發(fā)展。
  現(xiàn)在再看運維中的數(shù)據(jù)應用是什么？采集服務器上的數(shù)據(jù)，通過不同維度的收斂聚合做成實時監(jiān)控圖像，再針對不同的指標添加觸發(fā)器形成告警，告警的同時附上數(shù)據(jù)分析報告形成告警分析，為了提前預防故障，將還沒有形成故障的產(chǎn)品薄弱點做成異常檢測分析報告定期發(fā)送預警，為了根因排查必須做到可以隨時查詢詳細日志，還需要通過SDK等將代碼內(nèi)部執(zhí)行層面數(shù)據(jù)收集起來進行性能分析，通過采集數(shù)據(jù)中各種指標的計算又形成了容量評估，這些對有故障時流量的調(diào)度也提供依據(jù)，總而言之產(chǎn)品運行的數(shù)據(jù)為一切的問題定位和實際操作提供了數(shù)據(jù)支撐，這些都是運維中數(shù)據(jù)應用。那么問題來了，怎么做？這就是運維層面的技術方案了，每個環(huán)節(jié)都對應有不同的工具，工具可能會變，但其中的道理是不會變化的，所謂道法自然而術變?nèi)f千。例如說我現(xiàn)在使用的一個運維數(shù)據(jù)方案，如下：

數(shù)據(jù)的采管用.png