0 引言

生產(chǎn)管理系統(tǒng)（Power Production Management System,PMS）是面向國家電網(wǎng)公司總部、省公司和各級運維檢修單位的統(tǒng)一精益生產(chǎn)管理信息系統(tǒng),它包含了公司運維檢修業(yè)務和生產(chǎn)管理全過程,完成設備管理向電網(wǎng)管理和資產(chǎn)管理轉變,為智能電網(wǎng)建設提供強有力的支撐。

PMS2.0管理的設備類型多、數(shù)量大,依靠人工檢測的方式需要檢查的字段很多,數(shù)據(jù)量巨大,耗時較長,人力成本和時間成本都很高,而且在檢測的過程中很可能出現(xiàn)遺漏或者錯檢的情況。面對這樣的狀況,傳統(tǒng)依靠人工檢查方式已經(jīng)無法滿足數(shù)據(jù)質量檢查要求^[1]。因此,采用自動化、流程化手段高效、準確地進行數(shù)據(jù)檢測,對提升數(shù)據(jù)質量是十分必要的^[2]。針對國家電網(wǎng)公司諧波監(jiān)測平臺的縱向接口要求,設計實現(xiàn)PMS臺賬數(shù)據(jù)服務及數(shù)據(jù)質量檢測系統(tǒng),用自動化的檢測代替人工檢查方式,可以提高供電企業(yè)數(shù)據(jù)質量檢測工作的檢測速度,并有效提升后續(xù)工作效率。

 1 臺賬數(shù)據(jù)接口服務及檢測內容

1.1 臺賬數(shù)據(jù)接口服務

根據(jù)國家電網(wǎng)公司下發(fā)的《國家電網(wǎng)公司電網(wǎng)諧波監(jiān)測分析模塊縱向接口規(guī)范》,PMS2.0的縱向接口中臺賬數(shù)據(jù)接口用于傳輸監(jiān)測終端的臺賬數(shù)據(jù)、測試儀器/檢定裝置的臺賬數(shù)據(jù)、監(jiān)測點的臺賬數(shù)據(jù)、電網(wǎng)設備的臺賬數(shù)據(jù)。臺賬數(shù)據(jù)接口部署在省公司主站側,采用SOAP Web Service方式實現(xiàn),由總部主站發(fā)起請求,省公司主站應答,將相關臺賬數(shù)據(jù)上傳給總部主站。

臺賬數(shù)據(jù)接口包括監(jiān)測終端的臺賬數(shù)據(jù)接口、測試儀器/檢定裝置的臺賬數(shù)據(jù)接口、監(jiān)測點的臺賬數(shù)據(jù)接口、電網(wǎng)設備的臺賬數(shù)據(jù)接口。

各借口功能描述如下：

1）GetTerminalAccountList：獲取指定設備編碼的監(jiān)測終端臺賬數(shù)據(jù);

2）GetTestInstrumentAccountList：獲取指定設備編碼的測試儀器/檢定裝置臺賬數(shù)據(jù);

3）GetMonitorAccountList：獲取指定編碼的監(jiān)測點臺賬數(shù)據(jù);

4）GetDeviceAccountList：獲取與指定編碼的監(jiān)測點關聯(lián)的電網(wǎng)設備臺賬數(shù)據(jù)。

臺賬數(shù)據(jù)服務接口發(fā)出請求和獲取服務的數(shù)據(jù)都有相應的規(guī)范標準,以此來進行數(shù)據(jù)質量檢測,由于臺賬數(shù)據(jù)接口較多,本文以“獲取指定設備編碼的監(jiān)測終端臺賬數(shù)據(jù)”接口為例,說明臺賬服務接口及數(shù)據(jù)監(jiān)測的內容。

1.2 服務及數(shù)據(jù)檢測內容

1）接口服務一致性檢測：主要檢測電網(wǎng)諧波監(jiān)測分析模塊臺賬數(shù)據(jù)服務發(fā)布的接口格式,是否符合國家電網(wǎng)公司規(guī)定的接口規(guī)范。因為此接口采用SOAP Web Service方式實現(xiàn),SOAP 基于XML和HTTP,通過XML 來實現(xiàn)消息描述,然后再通過 HTTP 實現(xiàn)消息傳輸。通過XML規(guī)范來確定統(tǒng)一的數(shù)據(jù)傳輸格式,其保證傳輸數(shù)據(jù)正確的先決條件是請求方與應答方所了解的服務接口格式是否一致。

省公司主站作為應答方,在接收到請求消息后應解析XML,根據(jù)請求參數(shù)向總部主站反饋相應數(shù)據(jù)。總部主站收到應答數(shù)據(jù)后解析XML入總部生產(chǎn)庫,并抽取數(shù)據(jù)進行計算。針對應答消息的檢測,需要根據(jù)不同的接口制定不同的標準文件。在檢測指定接口的應答消息XML時,與相應接口標準文件進行同步解析對比,以此方式檢測結果XML中是否出現(xiàn)以下幾種情況：標簽缺失、標簽冗余、標簽級別錯誤、標簽拼寫錯誤。

2）數(shù)據(jù)質量檢測：主要針對臺賬數(shù)據(jù),檢測內容包括數(shù)據(jù)是否完整、數(shù)據(jù)是否準確、數(shù)據(jù)格式是否正確、多個臺賬數(shù)據(jù)中關聯(lián)字段是否匹配等。監(jiān)測終端臺賬關鍵字段核查標準如表1所示。數(shù)據(jù)質量要求包括固定取值范圍、數(shù)據(jù)類型要求、固定編碼對應、時間格式匹配標準等。

表1 監(jiān)測終端臺賬關鍵字段核查標準Tab.1 Checking standards of the terminal account key fields

 2 數(shù)據(jù)質量與檢測方法

數(shù)據(jù)質量可以從應用角度與自身特性2個方面定義^[3]。就數(shù)據(jù)應用角度來看,可從是否能滿足指定應用的要求來衡量,即如果一批數(shù)據(jù)能從各個方面經(jīng)過驗證并滿足指定應用的要求,那么這批數(shù)據(jù)對這些應用來說就是高質量的。就數(shù)據(jù)質量本身來看,其自身特性主要體現(xiàn)在2個方面：一是數(shù)據(jù)本身的數(shù)據(jù)質量,主要包括數(shù)據(jù)真實性、數(shù)據(jù)自洽性、數(shù)據(jù)完整性、數(shù)據(jù)邏輯一致性、數(shù)據(jù)精確性、數(shù)據(jù)時效性、數(shù)據(jù)可用性、數(shù)據(jù)可信性等體現(xiàn)數(shù)據(jù)質量特征的屬性^[4];二是數(shù)據(jù)的過程質量,主要包括數(shù)據(jù)的使用質量、數(shù)據(jù)的存貯質量、數(shù)據(jù)的傳輸質量。影響數(shù)據(jù)質量的因素可以歸結為數(shù)據(jù)內在因素、應用環(huán)境、數(shù)據(jù)表述和數(shù)據(jù)存取四大類。

PMS系統(tǒng)臺賬數(shù)據(jù)服務及數(shù)據(jù)質量檢測軟件設計開發(fā)的難點在于異常數(shù)據(jù)的發(fā)現(xiàn)與識別。異常數(shù)據(jù)檢測是對數(shù)據(jù)集中明顯的偏差值、孤立點的識別,異常數(shù)據(jù)的校驗方法因不同的應用領域而有所差
異^[5-12]。已有的對電力系統(tǒng)數(shù)據(jù)檢測方法主要有3種：基于統(tǒng)計的檢測方法,基于數(shù)據(jù)間關聯(lián)關系的檢測方法,多個數(shù)據(jù)來源的檢測方法。在這3種方法中,基于統(tǒng)計的檢測方法更適合對臺賬數(shù)據(jù)進行檢測。

 3 臺賬服務及數(shù)據(jù)質量檢測系統(tǒng)設計

3.1 系統(tǒng)物理結構設計

系統(tǒng)物理結構如圖1所示。臺賬縱向接口程序將國網(wǎng)北京市電力公司PMS中的數(shù)據(jù)與電能質量監(jiān)測系統(tǒng)的監(jiān)測點臺賬數(shù)據(jù)同步到接口服務器,打包成Web服務,在特定的服務端口發(fā)布,國家電網(wǎng)公司總部諧波監(jiān)測分析模塊服務器可通過訪問北京接口服務器調用接口服務,獲取所需數(shù)據(jù)。本次實現(xiàn)的PMS臺賬數(shù)據(jù)服務及數(shù)據(jù)質量檢測系統(tǒng)也可調用接口服務器的服務,獲取返回XML數(shù)據(jù),進行數(shù)據(jù)的解析檢測,生成檢測報表文件。

圖1 系統(tǒng)物理結構Fig.1 Physical structure of the system

3.2 系統(tǒng)邏輯結構設計

系統(tǒng)具有分布性特點,需要隨時隨地能夠進行查詢、瀏覽等業(yè)務處理,因而采用B/S三層架構模式,分為與客戶交互的表示層,中間的業(yè)務邏輯層和底層的數(shù)據(jù)訪問層。因為系統(tǒng)數(shù)據(jù)源基于服務接口的特殊性,在數(shù)據(jù)訪問層與業(yè)務邏輯層之間添加服務層。系統(tǒng)邏輯結構如圖2所示。

1）表示層。臺賬質量檢測的界面收集用戶輸入信息,包括服務地址、待測數(shù)據(jù)類型。

圖2 系統(tǒng)邏輯結構Fig.2 Logical structure of the system

2）業(yè)務邏輯層。系統(tǒng)首先從表示層獲取參數(shù)信息,使用Web Service調用方式調用相應的臺賬數(shù)據(jù)服務接口,獲取標準XML格式的臺賬數(shù)據(jù)。系統(tǒng)獲得訪問Web服務地址返回的XML數(shù)據(jù)后,對其進行解析才能得到需要的臺賬數(shù)據(jù)。在保存錯誤數(shù)據(jù)的同時,還要保存所屬臺賬接口類型、所屬ID、標簽名、異常數(shù)據(jù)檢測時間等信息。檢測完畢后,對異常數(shù)據(jù)進行統(tǒng)計后生成檢測報表,包括錯誤率、缺失率、異常數(shù)據(jù)明細、缺失數(shù)據(jù)明細等。

3）服務層。已有臺賬數(shù)據(jù)封裝發(fā)布到Web Service上,為檢測提供獲取數(shù)據(jù)接口。

4）數(shù)據(jù)訪問層。主要作用是獲取臺賬數(shù)據(jù)規(guī)范標準表內容和保存質量檢測結果。

3.3 數(shù)據(jù)庫設計

系統(tǒng)數(shù)據(jù)庫采用MySQL數(shù)據(jù)庫,全部數(shù)據(jù)表的說明如表2所示。

表2 數(shù)據(jù)庫中全部表說明Tab.2 List of all tables

1）臺賬數(shù)據(jù)標準規(guī)范表。臺賬數(shù)據(jù)標準規(guī)范表（sy_scheme）中記錄的是所有臺賬數(shù)據(jù)的存儲規(guī)范,將規(guī)范標準化成可以用程序識別的標準規(guī)范表。表中check_type存放檢測類型,對于每一項不同的標簽可能會有不一樣的檢測標準,整體分為9類,所以在check_type中用數(shù)字代替檢測的類型（0無其他要求,1有閾值,2不能有中文,3必須是中文,4判斷日期,5不帶單位,6匹配標準格式,7生產(chǎn)廠家編碼,
8部門編碼）。如果check_type為1,說明有閾值,才會讀取后面3項（最大值、最小值、錯誤信息說明）。臺賬數(shù)據(jù)標準規(guī)范表的表結構如表3所示。

表3 臺賬數(shù)據(jù)標準規(guī)范表的表結構（sy_scheme）Tab.3 The structure of normalized account table

2）臺賬錯誤信息表。臺賬錯誤信息表（sy_errorinfo）中記錄臺賬數(shù)據(jù)質量檢測結果,包括臺賬種類、每種臺賬中的id編碼、錯誤標簽的名稱、錯誤標簽對應的參數(shù)名、錯誤數(shù)據(jù)、錯誤類型、檢測時間、錯誤信息說明。其中錯誤類型是為了之后生成報表能統(tǒng)計出缺失率和錯誤率;錯誤信息說明是保存錯誤數(shù)據(jù)的出錯原因,方便有針對性修改數(shù)據(jù)。臺賬錯誤信息表的表結構如表4所示。

表4 臺賬錯誤信息表的表結構（sy_errorinfo）Tab.4 Account data error information

 4 系統(tǒng)實現(xiàn)

4.1 系統(tǒng)總體流程

系統(tǒng)主要功能是臺賬的數(shù)據(jù)質量檢測,首先選擇待測臺賬數(shù)據(jù)類型,輸入Web訪問地址,點擊開始檢測后由按鈕響應獲取用戶輸入的數(shù)據(jù),調用獲取所有臺賬ID接口,再用返回的ID數(shù)據(jù)調用待測臺賬數(shù)據(jù),判斷是否符合標準格式。然后將XML格式數(shù)據(jù)轉為SimpleXML對象,實現(xiàn)對臺賬數(shù)據(jù)的解析。質量檢測時先判斷是否為空,如果為空,且是必填項保存為缺失數(shù)據(jù),若不是必填項檢查下一條;如果不為空,判斷是否填寫正確。檢查下一條臺賬數(shù)據(jù)直到檢測完所有的臺賬數(shù)據(jù),保存檢測結果,對結果進行統(tǒng)計匯總生成檢測報表。系統(tǒng)流程如圖3所示。

圖3 系統(tǒng)流程Fig.3 System flowchart

4.2 臺賬數(shù)據(jù)質量檢測實現(xiàn)

臺賬數(shù)據(jù)服務訪問后獲得的臺賬數(shù)據(jù)是XML格式字符串,系統(tǒng)對XML格式字符串進行解析,轉為SimpleXML對象,調整對象中每個臺賬數(shù)據(jù)標簽存儲位置,以便檢測時獲取XML標簽中的值,與數(shù)