0 引言

國網(wǎng)客服中心（以下簡稱中心）是國家電網(wǎng)公司集中供電服務業(yè)務執(zhí)行單位和總部營銷決策的支撐機構,負責95598服務的集中建設與運營,服務地域范圍覆蓋26個省（直轄市、自治區(qū)）,是世界上服務人工最多、規(guī)模最大的電力客戶服務中心,下設南、北2個分中心^[1]。中心兼具呼叫中心及電力行業(yè)的屬性,是技術密集型、知識密集型客服中心,具有業(yè)務連續(xù)性要求高、社會影響大、話務量高等特點,因此,安全可靠的信息系統(tǒng)是中心對外提供優(yōu)質服務的關鍵支撐。中心在全國電力行業(yè)首次設計了95598一體化服務平臺信息系統(tǒng)群結構,采用“雙基地、雙平臺、雙局向、雙鏈路”模式,為保證7×24 h服務的連續(xù)性奠定基礎。

此外,中心信息系統(tǒng)運維以“安調運檢”體系為基礎,結合中心實際,加大對座席現(xiàn)場的支撐力度,加強運行監(jiān)控及故障恢復效率。中心信息系統(tǒng)運維與國家電網(wǎng)公司系統(tǒng)內其他單位面臨同樣的困難^[2-3],一是軟硬件種類繁多、技術接口繁雜;二是監(jiān)控手段不統(tǒng)一、監(jiān)控工具分散,無法“集中監(jiān)控、集中管理”,影響系統(tǒng)監(jiān)控與處置效率。中心借鑒“微服務”應用拆分、敏捷部署及運維集約化理念^[4-5],創(chuàng)新性提出“微運維”概念。每一個“微運維”關注一項個性化軟件或硬件的自動化運維,代表著一個小的運維能力。同時,將“微運維”與傳統(tǒng)的監(jiān)控資源有機結合,打造了運維一體化管理平臺,有助于提升運維質量和運維效率^[6-8]。

 1 信息系統(tǒng)運維現(xiàn)狀及存在的問題

1.1 信息系統(tǒng)運維現(xiàn)狀

95598呼叫平臺系統(tǒng)承載南方分中心服務的14家省（市）公司的95598電話業(yè)務,是國家電網(wǎng)公司提供優(yōu)質服務的重要入口。

95598呼叫平臺系統(tǒng)運維工作涵蓋較廣,包括機房環(huán)境、網(wǎng)絡安全、主機存儲、數(shù)據(jù)庫、中間件、呼叫平臺服務等。涉及的軟硬件種類繁多、品牌繁雜、數(shù)量龐大且軟硬件之間技術接口不統(tǒng)一,如數(shù)據(jù)庫有Oracle、MySQL、SQLserver,主機硬件有小機、PC、刀片、工控機、專用服務器等,平臺硬件有OXE、SBC,平臺軟件有軟電話、genesys平臺軟件、錄音系統(tǒng)、語音分析、報表集成服務等。

信息系統(tǒng)運維的日常工作是監(jiān)控異常并進行快速處置恢復^[9-11]。目前主要采用傳統(tǒng)成熟的監(jiān)控工具,如通過動環(huán)監(jiān)控系統(tǒng)監(jiān)控機房溫濕度、電量電壓、UPS等信息,通過北塔、hostmonitor監(jiān)控整個分中心網(wǎng)絡運行狀況,通過中心統(tǒng)一開發(fā)的核心監(jiān)控與預警系統(tǒng)監(jiān)控分中心各部門話務和業(yè)務情況及呼叫平臺核心組件的運行狀態(tài)^[12-14]。信息系統(tǒng)運維工作基于以上分散的監(jiān)控工具,缺乏一個一體化監(jiān)控平臺,進行全方面、全覆蓋的“自動監(jiān)控、主動運維”。呼叫平臺系統(tǒng)個性化軟硬件較多,技術接口不統(tǒng)一,無法做到采用統(tǒng)一的技術規(guī)范實現(xiàn)所有的系統(tǒng)“一鍵式自動運維”。此外,因中心業(yè)務不斷拓展,信息系統(tǒng)開發(fā)建設速度快也需要不斷開發(fā)出新的運維工具^[15-17]。在異常處置方面,主要以人工處置為主,處置效果很大程度上依賴于處理人的專業(yè)技能。

1.2 存在的問題

在目前的運維工作中,監(jiān)控處置動作不能集約式一體化管理,給運維工作帶來很多難題。

1）造成了時間、人員、設備等資源的浪費。個別軟硬件因技術接口不統(tǒng)一,需要獨立開發(fā)出個性化的自動運維工具,造成設備資源的重復投入;運維工具分散、繁多,可能分散到各個運維專業(yè)組使用,容易造成人員冗余及不合理利用,同時兼顧多個監(jiān)控工具也會造成時間和精力的浪費。

2）增加了系統(tǒng)風險。人工處置會因人員誤操作導致不可預估的風險,處置效果依賴于某個運維人員的技能,若該人員離職,則會造成核心技術與重要經(jīng)驗的流失,加劇了系統(tǒng)風險。

 2 集約一體化信息監(jiān)控管理平臺的構建

2.1 “微運維”的提出和典型“微運維”工具

微服務架構在系統(tǒng)開發(fā)中得到越來越多的關注,可將一個大型復雜的應用和服務分解成更小的、松散耦合的一個個微服務,每個微服務代表一個小的業(yè)務能力,便于軟件應用的升級和擴展。將微服務這種應用拆分、敏捷部署的理念引入到信息系統(tǒng)運維工作中,提出了“微運維”的概念,針對個別無法實現(xiàn)統(tǒng)一監(jiān)控的軟硬件,獨立開發(fā)個性化的微運維工具,實現(xiàn)自動監(jiān)控、自動處置。國網(wǎng)客服中心南方分中心在運維過程中,針對呼叫平臺重要組件及服務的監(jiān)控處置開發(fā)了“微運維”工具。

2.1.1 Weblogic中間件的自動監(jiān)控與處置

Weblogic是基于JavaEE架構的中間件,其中部署了95598呼叫平臺的重要集成服務。前期Weblogic故障的發(fā)現(xiàn)與處置主要依賴人工完成,Weblogic中間件在宕掉或假死的情況下靠人工手動拉起,拉起時間過長,存在操作不規(guī)范的風險,影響業(yè)務正常運營。針對此問題,南方分中心組織開發(fā)了Weblogic中間件的自動監(jiān)控與處置“微運維”工具。

圖1 weblogic中間件的自動監(jiān)控與處置“微運維”工具架構Fig.1 Architecture of Weblogic middleware automatic monitoring and "micro-operation" tool

圖2 CTI一體化重啟“微運維”工具架構Fig.2 Architecture of CTI integrated restarting the 'micro-operation' tool

該工具架構如圖1所示,采用Java、shell、linux-OS技術耦合,包含監(jiān)護工程、處理工程、記錄工程、審計工程、配置工程,將監(jiān)護處理操作在基層耦合,做到維護管理靈活獨立,在Weblogic中間件宕掉或假死時可自動檢測,快速拉起。在2014年下半年使用該自動化運維工具后,Weblogic中間件故障監(jiān)測判斷平均用時由使用前平均20 min下降到60 s,平均處理用時由平均15 min下降到35 s,大大提高了運維效率,節(jié)省了時間與人力資源,降低了系統(tǒng)與業(yè)務風險。

2.1.2 CTI一體化重啟

計算機電話集成（Computer Telecommunication Integration,CTI）服務能自動處理來電中的信令信息,并建立電話連接,是95598呼叫平臺的重要服務。CTI服務運維工作一直是困擾南方分中心的難題,CTI服務的啟動、停止有嚴格的順序要求,且CTI服務較多,人為操作風險較大。為解決該問題,南方分中心開發(fā)了CTI一體化重啟“微運維”工具,架構如圖2所示。

這一工具將常態(tài)重復的工作進行自動化,由多人操作、交互確認變成了一人操作、內部自校驗,降低了時間與人力成本;把多個服務之間邏輯關系的處理進行固化,降低了操作風險;避免了業(yè)務主機啟停順序紊亂的系統(tǒng)風險。使用CTI一體化重啟工具前后,時間及人力成本的變化見表1所列。

表1 使用CTI一體化重啟工具前后時間及人力成本上的變化Tab.1 The time and labor costs change after using CTI integrated restarting tool

2.2 一體化管理平臺的構建

將針對個性化軟硬件運自動維、代表不同運維能力的“微運維”工具與傳統(tǒng)的監(jiān)控資源結合,構建運維一體化管理平臺,實現(xiàn)了集中監(jiān)控、集中管理,彌補了由于接口規(guī)范不統(tǒng)一帶來的分散式繁雜運維,有助于提升運維質量和運維效率。一體化監(jiān)控管理平臺架構如圖3所示,包括技術支撐、平臺支撐和功能支撐3個模塊。

圖3 一體化監(jiān)控管理平臺架構Fig.3 Integrated information monitoring and management platform architecture

1）技術支撐：一體化管理平臺包含傳統(tǒng)運維工具和“微運維”工具2個模塊。對于傳統(tǒng)的運維監(jiān)控手段,使用成熟的運維監(jiān)控平臺或者傳統(tǒng)技術開發(fā)實現(xiàn),通過通用技術接口納入一體化監(jiān)控管理平臺;對于“微運維”工具,采用與之對應的接口技術,實現(xiàn)“微運維”平臺/工具的開發(fā),通過專門的技術接口納入一體化監(jiān)控管理平臺。

2）平臺支撐：包含傳統(tǒng)成熟的運維工具/平臺和因技術接口個性化、傳統(tǒng)成熟運維工具無法統(tǒng)一支撐的“微運維”工具/平臺。隨著業(yè)務范圍的擴大,信息系統(tǒng)不斷開發(fā)建設,支撐對應系統(tǒng)自動監(jiān)控運維的“微運維”工具可基于該一體化監(jiān)控管理平臺不斷升級擴展。

3）功能支撐：①集中監(jiān)控與告警：一體化監(jiān)控管理平臺融合了“微運維“平臺/工具與傳統(tǒng)運維平臺/工具,進行集中監(jiān)控與告警,實現(xiàn)單個或多個故障的敏捷發(fā)現(xiàn);②集中調配：一體化監(jiān)控平臺可快速發(fā)現(xiàn)單個或集中故障,能夠通過集中調配平臺去調度組織人員、技術、設備及時到位,實現(xiàn)快速處置;③進度管理：通過對故障以及處置進度的管控,實現(xiàn)進程控制、影響控制并督促監(jiān)督處置過程,可對故障信息傳遞、影響范圍確定、處置進度跟蹤進行高效管理;④報表分析：通過故障相關數(shù)據(jù)、處置相關信息進行多維度的分析（時間、范圍、人員、效果、風險等）與總結,有助于杜絕故障發(fā)生、提高處置效率。

一體化監(jiān)控管理平臺的構建,實現(xiàn)了高效管控、敏捷運維,較好地解決了軟硬件種類繁多、接口規(guī)范不統(tǒng)一的監(jiān)控難題,且具有可擴展性,能夠適應不斷上線的、新系統(tǒng)的運維工作,大大提高運維效率,有力保障業(yè)務的正常運轉。

 3 結語

為滿足不同接口規(guī)范的軟硬件、不斷開發(fā)建設的系統(tǒng)的監(jiān)控需求,通過借鑒微服務應用拆分、敏捷部署的理念,文中引入了微運維的思想,提出了構建一體化監(jiān)控管理平臺的方案,將一個個個性化的微運維工具融入到一體化運維管理平臺上,可有效解決運維軟硬件數(shù)量龐大、運維工具繁多的問題,保證信息系統(tǒng)的安全穩(wěn)定運行。