攜程癱瘓12小時或損失上千萬

2015-06-01 09:53:57 大云網(wǎng)　點擊量：評論 (0)

　新京報訊 5月28日11時起，攜程官網(wǎng)及APP無法使用，直至當天23時29分，才全面恢復正常。經(jīng)攜程技術排查，確認此次事件是由于員工錯誤操作，刪除了生產(chǎn)服務器上的執(zhí)行代碼導致。　　在攜程宕機之前，5月份以來，

　新京報訊 5月28日11時起，攜程官網(wǎng)及APP無法使用，直至當天23時29分，才全面恢復正常。經(jīng)攜程技術排查，確認此次事件是由于員工錯誤操作，刪除了生產(chǎn)服務器上的執(zhí)行代碼導致。

　　在攜程宕機之前，5月份以來，已有網(wǎng)易、支付寶錢包等網(wǎng)絡服務出現(xiàn)短暫的無法正常使用的現(xiàn)象。其中，5月11日晚上8時許，網(wǎng)易突然出現(xiàn)大面積服務癱瘓問題，網(wǎng)易新聞、云音樂、易信、有道云筆記等多款移動應用均無法正常刷新，網(wǎng)易名下的游戲也全線癱瘓，用戶長時間無法刷新和登錄。但第二天凌晨2點就已經(jīng)恢復。5月27日17時左右，支付寶錢包出現(xiàn)故障。支付寶1小時后就找到故障原因，是杭州蕭山一處光纜被挖斷。

　　而攜程此次宕機，從發(fā)現(xiàn)到全面修復超過了12個小時。互聯(lián)網(wǎng)企業(yè)宕機，修復時間如此長的情況，比較少見。

　　為什么恢復時間那么長？攜程從技術角度對新京報記者解釋道，攜程后臺是一個由SOA(面向服務)架構組成的龐大服務器集群，一個頁面背后由上千個應用子系統(tǒng)以及上千個WebService組成，每個應用子系統(tǒng)和每個WebService之間存在著相互調(diào)用的依賴關系。事件發(fā)生后，攜程除需要恢復生產(chǎn)服務器上的執(zhí)行代碼，還需要確保應用子系統(tǒng)和WebService的功能正常，以及兩者間的調(diào)用關系正常執(zhí)行。這種驗證性的操作需要反復地、持續(xù)性地調(diào)試。

　　為杜絕此類事件的再次發(fā)生，攜程表示，已經(jīng)在系統(tǒng)上做了改進，規(guī)范并杜絕技術人員錯誤刪除生產(chǎn)服務器上代碼的操作。攜程再次保證，數(shù)據(jù)和數(shù)據(jù)庫并未受到此次事件的影響，用戶訂單數(shù)據(jù)也完整無損。

　　除了消費者，攜程自身受到的影響也非常慘重。以攜程今年第一季度財報的數(shù)據(jù)計算，凈營收23億元，28日攜程相當于每小時損失106.5萬元的生意。以12小時計算，攜程大約少了1278萬元的業(yè)務收入。

　　■分析

　　互聯(lián)網(wǎng)脆弱企業(yè)該做什么？

　　不到一個月的時間里，主流互聯(lián)網(wǎng)企業(yè)中，就有網(wǎng)易、支付寶、攜程的服務器或系統(tǒng)先后“倒下”。對于互聯(lián)網(wǎng)賴以生存的網(wǎng)絡、設備、技術可能變“脆弱”的情況，企業(yè)應該怎么做？

　　安天首席架構師肖新光告訴記者，注意備份、備災非常重要。通常來說，大的互聯(lián)網(wǎng)企業(yè)都會有比較成熟的備份機制和應急預案等，通常可以做到小故障不影響用戶體驗（甚至讓用戶感知不到），局部故障可以快速恢復等等。

　　對于數(shù)據(jù)，熱備份和冷備份都已經(jīng)是較為成熟的技術。通俗而言，熱備份是至少兩臺設備同時進行相同的數(shù)據(jù)操作，如果一個設備出現(xiàn)故障，可以快速切換到備用設備。冷備份是指，每隔一段時間進行一次數(shù)據(jù)復制，來確保一旦出現(xiàn)故障，至少可以恢復到接近當前的某個時刻，但恢復需要更多時間。

　　技術與方法等是相對比較成熟的，但同時也要看企業(yè)對整個系統(tǒng)的設計是否得當、投入是否足夠、管理是否有效。目前企業(yè)的相關投入更多對應的是一些自然事故，如服務器損壞、線路中斷、包括機房遭遇水災、火災等，但對于惡意攻擊、內(nèi)部犯罪等防范的能力和防范投入往往還有一定欠缺。

　　對于重特大事故和事件（如長期策劃的蓄意入侵攻擊，特別是內(nèi)部的攻擊），從最開始的一片混亂到有效處理，可能需要更長的時間。多數(shù)企業(yè)缺少對最壞狀況的演練。同時，如果立足于防范極限情況，也需要付出更多的日常成本。

　　作者：趙嘉妮