電力消費(fèi)大數(shù)據(jù)智能分析技術(shù)架構(gòu)

隨著能源互聯(lián)網(wǎng)技術(shù)的發(fā)展和應(yīng)用，互聯(lián)網(wǎng)與用電行為逐步實(shí)現(xiàn)深度融合，體現(xiàn)在大量能源互聯(lián)網(wǎng)數(shù)據(jù)、互聯(lián)網(wǎng)用電行為數(shù)據(jù)、自然環(huán)境數(shù)據(jù)等多源異構(gòu)數(shù)據(jù)共同支撐用電環(huán)節(jié)的網(wǎng)絡(luò)化和智能化，包括節(jié)電負(fù)荷預(yù)測、錯峰調(diào)度等電力消費(fèi)相關(guān)大數(shù)據(jù)在類型、性質(zhì)、形式和內(nèi)容上均存在極大的差異。表現(xiàn)為顯著的多源異構(gòu)特性，雖然為進(jìn)一步的分析與挖掘提供了豐富的可用信息，但由此帶來的異構(gòu)數(shù)據(jù)源的語義關(guān)聯(lián)問題又使其面臨著新的挑戰(zhàn)。互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)大數(shù)據(jù)智能分析技術(shù)路線圖如圖5-17所示。本書針對能源互聯(lián)網(wǎng)接入數(shù)據(jù)、互聯(lián)網(wǎng)用電行為數(shù)據(jù)、地理社會環(huán)境數(shù)據(jù)的“規(guī)模龐大”和“異質(zhì)多源”兩個特性，為智能用電相關(guān)的大規(guī)模多源異構(gòu)數(shù)據(jù)的融合和管理提供新原理與新方法，實(shí)現(xiàn)多源異構(gòu)大數(shù)據(jù)的智能處理及高效運(yùn)算。關(guān)鍵支撐技術(shù)主要包括：智能用電相關(guān)大數(shù)據(jù)的預(yù)處理及質(zhì)量控制;針對智能用電相關(guān)大數(shù)據(jù)的分布式數(shù)據(jù)庫架構(gòu)的研究，以及多源異構(gòu)大數(shù)據(jù)的融合及可視化;大規(guī)模多源異構(gòu)數(shù)據(jù)的特征表示技術(shù)，以及大規(guī)模多源異構(gòu)數(shù)據(jù)的關(guān)聯(lián)分析模型建立;針對不同類型用戶實(shí)現(xiàn)身份驗(yàn)證及安全訪問控制等。

圖5-17互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)大數(shù)據(jù)智能分析技術(shù)路線圖

電力消費(fèi)大數(shù)據(jù)處理流程

互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)相關(guān)大數(shù)據(jù)在采集以及傳輸過程中，都可能出現(xiàn)錯誤，產(chǎn)生噪聲或空值。數(shù)據(jù)預(yù)處理可以改進(jìn)數(shù)據(jù)的質(zhì)量，消除數(shù)據(jù)的不完整性、冗余性和模糊性等，有助于保障挖掘過程中的數(shù)據(jù)精度和質(zhì)量。

圖5-18多源異構(gòu)數(shù)據(jù)處理流程

由于互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)相關(guān)大數(shù)據(jù)的來源及組成不同，如圖5-18所示，首先對數(shù)據(jù)進(jìn)行屬性的分析，并建立合適的屬性索引和分類。然后，通過數(shù)據(jù)評估、數(shù)據(jù)重組、數(shù)據(jù)清洗、數(shù)據(jù)抽取、數(shù)據(jù)過濾、數(shù)據(jù)歸約等六個模塊分別對多源異構(gòu)數(shù)據(jù)進(jìn)行處理。這六個子模塊先后作用于現(xiàn)實(shí)數(shù)據(jù)源，共同完成了現(xiàn)實(shí)數(shù)據(jù)源向系統(tǒng)使用的數(shù)據(jù)矩陣的轉(zhuǎn)換。數(shù)據(jù)的評估和重組是數(shù)據(jù)預(yù)處理的前提。將數(shù)據(jù)源先清洗為適合挖掘的干凈數(shù)據(jù)，然后根據(jù)數(shù)據(jù)集的大小確定是否需要進(jìn)行數(shù)據(jù)抽取，再對數(shù)據(jù)集中不符合挖掘格式的數(shù)據(jù)進(jìn)行數(shù)據(jù)過濾，若數(shù)據(jù)集中的冗余屬性較多，則需要進(jìn)行數(shù)據(jù)歸約，經(jīng)過這些數(shù)據(jù)預(yù)處理模塊的處理后，保存為數(shù)據(jù)矩陣的格式，為后面的挖掘算法做好準(zhǔn)備。并非所有數(shù)據(jù)源的數(shù)據(jù)都需要全部經(jīng)過上述六個步驟的處理，具體操作視數(shù)據(jù)而定。

另外，在矩陣恢復(fù)理論框架下，建立多源數(shù)據(jù)的結(jié)構(gòu)化低秩表示模型，表征多模態(tài)數(shù)據(jù)間的結(jié)構(gòu)關(guān)系，通過矩陣的低秩與結(jié)構(gòu)化稀疏性約束，能夠從稀疏的顯著誤差中恢復(fù)出關(guān)系矩陣，從而實(shí)現(xiàn)數(shù)據(jù)的質(zhì)量控制。

1.互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)數(shù)據(jù)屬性與分類

互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)相關(guān)的大數(shù)據(jù)主要包括用戶的社會屬性、用電行為、能源互聯(lián)網(wǎng)接入等信息，存在著各種結(jié)構(gòu)化和非結(jié)構(gòu)類型，在進(jìn)行預(yù)處理和數(shù)據(jù)融合前需要對數(shù)據(jù)屬性和類型進(jìn)行分析，建立合適的屬性索引和分類，為數(shù)據(jù)的預(yù)處理奠定基礎(chǔ)，見表5-4。

表5-4 互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)數(shù)據(jù)屬性和類型

2.數(shù)據(jù)預(yù)處理

互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)數(shù)據(jù)預(yù)處理的主要目的是使多源異構(gòu)數(shù)據(jù)更易于數(shù)據(jù)挖掘等工作的高效計算，過程包括：

(1)質(zhì)量檢查。質(zhì)量檢查部分不會對數(shù)據(jù)進(jìn)行任何修改，而是從一些客觀的角度對數(shù)據(jù)進(jìn)行衡量，如對屬性的掃描、檢查屬性類型、檢查數(shù)據(jù)的缺損狀況等，對數(shù)據(jù)的衡量是數(shù)據(jù)分析的參考依據(jù)。

(2)數(shù)據(jù)清理。數(shù)據(jù)清理部分旨在處理數(shù)據(jù)源中的錯誤，如填充缺損值、平滑噪聲數(shù)據(jù)、重復(fù)記錄檢測、孤立點(diǎn)檢測等。

(3)屬性變換。屬性變換指的是對數(shù)據(jù)列的變換，包括對屬性值的處理和屬性類型的變換，如屬性的增加與刪除、有監(jiān)督離散化和無監(jiān)督離散化等。

(4)實(shí)例變換。實(shí)例變換指的是對數(shù)據(jù)行的變換，包括數(shù)據(jù)實(shí)例的增加與約簡，如模擬數(shù)據(jù)的產(chǎn)生和數(shù)據(jù)的抽樣等。

(5)實(shí)例檢測。實(shí)例檢測的目的在于發(fā)現(xiàn)一些特定的實(shí)例，如重復(fù)記錄和孤立點(diǎn)(又稱為離群點(diǎn))，這樣的數(shù)據(jù)實(shí)例有時候也是數(shù)據(jù)分析的重點(diǎn)，如欺詐檢測等。

數(shù)據(jù)預(yù)處理系統(tǒng)如圖5-19所示，從整體上分為數(shù)據(jù)格式轉(zhuǎn)換子系統(tǒng)、預(yù)處理算法實(shí)現(xiàn)環(huán)境子系統(tǒng)和數(shù)據(jù)管理子系統(tǒng)三個部分。從整體上看，系統(tǒng)的輸入是一個數(shù)據(jù)文件，或者是一個數(shù)據(jù)庫表，輸出的結(jié)果是對其進(jìn)行處理后的數(shù)據(jù)文件或者數(shù)據(jù)庫表處理包括應(yīng)用數(shù)據(jù)預(yù)處理算法對數(shù)據(jù)進(jìn)行預(yù)處理，或者是格式轉(zhuǎn)換。因此，系統(tǒng)被設(shè)計成為數(shù)據(jù)文件驅(qū)動型的，任何操作都必須建立在有可用的數(shù)據(jù)文件的前提下。

(1)格式轉(zhuǎn)換子系統(tǒng)。由于大數(shù)據(jù)智能分析任務(wù)所需要的數(shù)據(jù)有可能來自許多不同的地方，因此數(shù)據(jù)的格式可能會千差萬別大部分的數(shù)據(jù)都存儲在數(shù)據(jù)庫中，此外，也有等文件格式因此格式轉(zhuǎn)換子系統(tǒng)主要功能就是將數(shù)據(jù)庫表中的數(shù)據(jù)轉(zhuǎn)換為格式，同時也能將一種數(shù)據(jù)庫格式轉(zhuǎn)換為其他數(shù)據(jù)庫格式。

數(shù)據(jù)格式轉(zhuǎn)換部分的架構(gòu)如圖5-20所示，由于涉及對各種數(shù)據(jù)庫的訪問，因此各種數(shù)據(jù)庫的驅(qū)動程序應(yīng)該集中存放在一起，并建立起各種數(shù)據(jù)庫格式與驅(qū)動程序的映射由此構(gòu)建數(shù)據(jù)庫連接的管理，和數(shù)據(jù)庫操作的管理通過獲取數(shù)據(jù)庫的架構(gòu)信息，完成對數(shù)據(jù)庫結(jié)構(gòu)的解析，實(shí)現(xiàn)數(shù)據(jù)庫在異構(gòu)數(shù)據(jù)源中的重建與數(shù)據(jù)記錄的轉(zhuǎn)存。

(2)預(yù)處理算法實(shí)現(xiàn)子系統(tǒng)。由于系統(tǒng)是文件驅(qū)動的，算法的執(zhí)行必須有數(shù)據(jù)文件在沒有選擇輸入數(shù)據(jù)文件以前算法實(shí)現(xiàn)環(huán)境部分處于鎖定狀態(tài)，在輸入數(shù)據(jù)文件后系統(tǒng)的算法實(shí)現(xiàn)環(huán)境部分的窗口就被激活根據(jù)前面的分析，算法實(shí)現(xiàn)環(huán)境部分包含六個方面，分別是質(zhì)量檢查、數(shù)據(jù)清理、屬性變換、實(shí)例變換、屬性選擇和實(shí)例檢測。此外，算法實(shí)現(xiàn)環(huán)境部分還包括對數(shù)據(jù)文件的操作和瀏覽等部分，如圖5-21所示。

在進(jìn)入預(yù)處理算法實(shí)現(xiàn)環(huán)境子系統(tǒng)之后，系統(tǒng)會要求打開一個數(shù)據(jù)文件打開的數(shù)據(jù)文件將存放到數(shù)據(jù)中心，這是系統(tǒng)統(tǒng)一管理數(shù)據(jù)的地方與此同時，系統(tǒng)會掃描數(shù)據(jù)文件中的一些基本信息，包括屬性的數(shù)目、屬性的類型等，并將這些信息顯示到界面上打開文件后算法管理部分對各個算法進(jìn)行激活，使得算法標(biāo)簽?zāi)軌蚴褂盟惴ü芾聿糠謱⑺惴ㄘ?fù)責(zé)算法的分類與調(diào)用如在開啟算法界面的同時對算法需要的條件進(jìn)行選擇等算法管理部分起著對算法的調(diào)用的功能，算法在執(zhí)行完相應(yīng)的處理后會調(diào)用數(shù)據(jù)中心的相關(guān)功能實(shí)現(xiàn)對數(shù)據(jù)的修改和顯示系統(tǒng)將所有的數(shù)據(jù)預(yù)處理算法分成四個部分，每個部分都是獨(dú)立運(yùn)行的在進(jìn)行了一項(xiàng)數(shù)據(jù)預(yù)處理后可以接著對數(shù)據(jù)進(jìn)行下一項(xiàng)預(yù)處理每次處理后數(shù)據(jù)中心都會對數(shù)據(jù)進(jìn)行一次保存，用于操作的撤銷與重做。

(3)數(shù)據(jù)管理子系統(tǒng)。數(shù)據(jù)管理部分需要完成的基本功能有數(shù)據(jù)的獲取、數(shù)據(jù)查看、數(shù)據(jù)保存、數(shù)據(jù)歷史管理等。如圖5-22所示，數(shù)據(jù)管理部分提供兩個接口，一是數(shù)據(jù)管理部分從數(shù)據(jù)文件中讀取數(shù)據(jù);二是提供一個接口使得算法能夠方便的讀取到數(shù)據(jù)。此外，還要保證各種算法使用的數(shù)據(jù)的統(tǒng)一性。

數(shù)據(jù)查看提供一個隨時查看數(shù)據(jù)的一個界面，以表格的形式將數(shù)據(jù)展示給用戶同時在界面上提供一些基本的數(shù)據(jù)操作功能(數(shù)據(jù)實(shí)例或者屬性的插入刪除修改等)數(shù)據(jù)的保存將算法處理后的數(shù)據(jù)保存起來，包括用戶的保存和系統(tǒng)的自動保存兩個方面，用戶可以在任何時候自行保存中間數(shù)據(jù)，系統(tǒng)在對數(shù)據(jù)執(zhí)行任何操作后都應(yīng)該能回退到操作以前的狀態(tài)，這需要保存功能和歷史管理兩部分的協(xié)同。

歷史管理部分需要對系統(tǒng)的操作進(jìn)行記錄，在執(zhí)行算法后需要記錄下這次操作，并使用數(shù)據(jù)保存部分的功能對原始數(shù)據(jù)進(jìn)行保存，對保存的數(shù)據(jù)和系統(tǒng)執(zhí)行的操作進(jìn)行關(guān)聯(lián)。

(4)數(shù)據(jù)質(zhì)量控制。數(shù)據(jù)的質(zhì)量關(guān)系到大數(shù)據(jù)的融合及相關(guān)關(guān)系分析的準(zhǔn)確性，其關(guān)鍵環(huán)節(jié)是不良數(shù)據(jù)檢測，即判斷量測采樣中是否存在不良數(shù)據(jù)。不良數(shù)據(jù)辨識是指在發(fā)現(xiàn)某次量測采樣中存在不良數(shù)據(jù)后，確定哪個(或哪些)量測是不良數(shù)據(jù)。如圖5-23所示，根據(jù)互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)大數(shù)據(jù)多源、多渠道的特點(diǎn)，基于不同來源的數(shù)據(jù)進(jìn)行互校核，實(shí)現(xiàn)不良數(shù)據(jù)的檢測與辨識，包括電度量和量測量的互校核、不同數(shù)據(jù)系統(tǒng)間的互校核方法、不同結(jié)構(gòu)數(shù)據(jù)的互校核等。

1)基于電度量與量測量互校核的不良數(shù)據(jù)檢測方法。按獲得方式分，用電相關(guān)多源數(shù)據(jù)可劃分為電度量與量測數(shù)據(jù)，可采用電度量與量測量互校核辨識不良數(shù)據(jù)。

如實(shí)際計算中，可用同一節(jié)點(diǎn)下電度量和有功量測進(jìn)行互校核

(5-6)

式中:為I時刻該節(jié)點(diǎn)的有功電度量;PI-1、P1為I-1、I時刻該節(jié)點(diǎn)的有功功率;δ為準(zhǔn)確系數(shù),由實(shí)際量測系統(tǒng)準(zhǔn)確度決定。

2)基于不同系統(tǒng)間數(shù)據(jù)互校核的不良數(shù)據(jù)撿測方法。互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)相關(guān)多源數(shù)據(jù)按獲得來源分，可分為來自不同系統(tǒng)的數(shù)據(jù)，來自不同系統(tǒng)間的數(shù)據(jù)可以進(jìn)行互校核。如可結(jié)合配電網(wǎng)管理信息系統(tǒng)、生產(chǎn)管理系統(tǒng)的信息以及低壓臺區(qū)互聯(lián)信息，確定配變用電類型，按照不同行業(yè)需量系數(shù)和典型日負(fù)荷曲線可擬合出該配變負(fù)荷曲線。

3)基于不同結(jié)構(gòu)數(shù)據(jù)互校核的不良數(shù)據(jù)檢測方法。互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)相關(guān)多源數(shù)據(jù)中含有結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，但是不同類型的數(shù)據(jù)可能包含相同的信息量，如某一線路的長度可由地理信息系統(tǒng)中的非結(jié)構(gòu)化圖形數(shù)據(jù)獲得，也可從生產(chǎn)管理系統(tǒng)中的結(jié)構(gòu)化數(shù)據(jù)獲得，通過不同類型的數(shù)據(jù)進(jìn)行互校核，可實(shí)現(xiàn)不良數(shù)據(jù)的辨識互聯(lián)網(wǎng)環(huán)境下的電力消費(fèi)相關(guān)多源數(shù)據(jù)中不同的數(shù)據(jù)源為智能用電研究對象提供了多角度、多時間、多維度的數(shù)據(jù)描述，為了通過大數(shù)據(jù)分析充分挖掘有用信息，需要建立數(shù)據(jù)之間的關(guān)聯(lián)數(shù)學(xué)模型。