摘要：隨著分布式發(fā)電、儲(chǔ)能和需求側(cè)響應(yīng)負(fù)荷的不斷發(fā)展，傳統(tǒng)的被動(dòng)型用電網(wǎng)正在逐步演變?yōu)榫哂兄鲃?dòng)調(diào)節(jié)能力的主動(dòng)配電網(wǎng)。為了充分發(fā)揮主動(dòng)配電網(wǎng)的主動(dòng)調(diào)節(jié)能力，需要在配用電網(wǎng)中安裝智能電表、遠(yuǎn)程測(cè)控終端和配電網(wǎng)同步測(cè)量等數(shù)據(jù)采集裝置，建設(shè)配電、用電、客服、營(yíng)銷等信息管理系統(tǒng)。這些數(shù)據(jù)采集裝置和系統(tǒng)的建設(shè)，在配用電領(lǐng)域產(chǎn)生了大量的數(shù)據(jù)。文章在討論智能配用電大數(shù)據(jù)來(lái)源、生命周期及數(shù)據(jù)特征的基礎(chǔ)上，從數(shù)據(jù)集成平臺(tái)、智能電網(wǎng)統(tǒng)一數(shù)據(jù)模型、多源數(shù)據(jù)在線、數(shù)據(jù)分析算法庫(kù)、用戶畫像、機(jī)器學(xué)習(xí)算法等角度分析了智能配用電大數(shù)據(jù)分析的關(guān)鍵技術(shù)，然后提出了智能配用電大數(shù)據(jù)分析在電網(wǎng)運(yùn)行、社會(huì)服務(wù)和用戶服務(wù)方面的典型應(yīng)用。

0、引言

隨著分布式發(fā)電、儲(chǔ)能和需求側(cè)響應(yīng)負(fù)荷在配用電網(wǎng)中接入比例的不斷提高，傳統(tǒng)的被動(dòng)型用電網(wǎng)正在逐步演變?yōu)榫哂兄鲃?dòng)調(diào)節(jié)能力的主動(dòng)配電網(wǎng)。為了充分發(fā)揮主動(dòng)配電網(wǎng)的主動(dòng)調(diào)節(jié)能力，需要在配用電網(wǎng)中安裝智能電表、遠(yuǎn)程測(cè)控終端和配電網(wǎng)同步測(cè)量等數(shù)據(jù)采集裝置，建設(shè)配電、用電、客服、營(yíng)銷等信息管理系統(tǒng)。這些數(shù)據(jù)采集裝置和系統(tǒng)的大規(guī)模建設(shè)，使得電網(wǎng)公司首次獲得了數(shù)以億計(jì)電力用戶多時(shí)間尺度的在線用電信息，以及數(shù)以萬(wàn)計(jì)的電網(wǎng)運(yùn)行狀態(tài)監(jiān)控信息。這些信息使我們獲得了前所未有的可以從時(shí)間和空間多個(gè)角度，對(duì)用戶實(shí)際用電過程和與電網(wǎng)密切互動(dòng)過程進(jìn)行全方位分析的大數(shù)據(jù)。

近年來(lái)快速發(fā)展起來(lái)的大數(shù)據(jù)分析技術(shù)具有全數(shù)據(jù)分析、規(guī)律性分析、跨領(lǐng)域分析以及快速性分析的特點(diǎn)，為充分利用智能配用電系統(tǒng)中的多源數(shù)據(jù)，進(jìn)行多時(shí)間尺度分析提供了強(qiáng)大的技術(shù)手段。

區(qū)別于單一功能的電網(wǎng)公司業(yè)務(wù)部門的信息化系統(tǒng)，智能配用電大數(shù)據(jù)分析系統(tǒng)的研究目標(biāo)是將多個(gè)信息化信息系統(tǒng)中的數(shù)據(jù)進(jìn)行融合，解決依賴單一信息化系統(tǒng)解決不了或者解決不好的問題。本文首先討論智能配用電大數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)源和生命周期;然后分析智能配用電系統(tǒng)中的數(shù)據(jù)在時(shí)間和空間中的相互關(guān)系、以及基本特征，據(jù)此分析出融合智能配用電多源數(shù)據(jù)所必須解決的關(guān)鍵技術(shù);從數(shù)據(jù)集成平臺(tái)、智能電網(wǎng)統(tǒng)一數(shù)據(jù)模型、多源數(shù)據(jù)在線、數(shù)據(jù)分析算法庫(kù)、用戶畫像、機(jī)器學(xué)習(xí)算法等角度分析了智能配用電大數(shù)據(jù)分析的關(guān)鍵技術(shù)，最后提出了智能配用電大數(shù)據(jù)分析在電網(wǎng)運(yùn)行、社會(huì)服務(wù)和用戶服務(wù)方面的典型應(yīng)用。

1、智能配用電大數(shù)據(jù)分析的數(shù)據(jù)源與生命周期

1.1智能配用電大數(shù)據(jù)的來(lái)源

根據(jù)來(lái)源的不同，可以將智能配用電大數(shù)據(jù)分為電力企業(yè)內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)。電力企業(yè)內(nèi)部數(shù)據(jù)產(chǎn)生于配電管理/配電SCADA系統(tǒng)、生產(chǎn)管理系統(tǒng)、用電信息采集系統(tǒng)、電力營(yíng)銷系統(tǒng)、客戶服務(wù)信息系統(tǒng)等。這些數(shù)據(jù)包括靜態(tài)數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)，其中靜態(tài)數(shù)據(jù)包括電網(wǎng)設(shè)備模型參數(shù)、線路拓?fù)浣Y(jié)構(gòu)、電力用戶資料數(shù)據(jù)等，實(shí)時(shí)數(shù)據(jù)包括遙信、遙測(cè)數(shù)據(jù)，如設(shè)備運(yùn)行狀態(tài)、電量計(jì)量等。外部數(shù)據(jù)來(lái)源于地理信息系統(tǒng)、氣象預(yù)報(bào)系統(tǒng)、互聯(lián)網(wǎng)數(shù)據(jù)、公共服務(wù)部門數(shù)據(jù)、社會(huì)經(jīng)濟(jì)數(shù)據(jù)等。這些數(shù)據(jù)也為電網(wǎng)運(yùn)行、管理、服務(wù)等提供支持。

1.2智能配用電大數(shù)據(jù)的生命周期

數(shù)據(jù)的采樣頻率與生命周期也各不同，從微秒級(jí)、分鐘級(jí)、小時(shí)級(jí)，一直到年度級(jí)。不同數(shù)據(jù)的數(shù)據(jù)源與生命周期見圖1。配電PMU數(shù)據(jù)的數(shù)據(jù)采樣頻率為每10～20ms一次，可用于毫秒級(jí)的快速實(shí)時(shí)分析，主要應(yīng)用于配電自動(dòng)化系統(tǒng)的故障隔離、保護(hù)和控制;SCADA數(shù)據(jù)的采樣頻率為4～6s一次，可以首先存儲(chǔ)在實(shí)時(shí)數(shù)據(jù)庫(kù)中，進(jìn)行秒級(jí)的實(shí)時(shí)分析，主要應(yīng)用于配電管理系統(tǒng)的故障診斷、隔離和恢復(fù)、配電網(wǎng)狀態(tài)估計(jì)及分布式電源優(yōu)化和需求側(cè)管理等;智能電表數(shù)據(jù)的采樣頻率為15min一次，可用于分鐘級(jí)的在線分析，主要應(yīng)用于在線大數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)質(zhì)量、電能質(zhì)量、網(wǎng)損的在線分析，以及多源數(shù)據(jù)融合狀態(tài)估計(jì)，用電行為和負(fù)荷特性微增在線分析等，通過數(shù)據(jù)抽取、轉(zhuǎn)換與載入為后續(xù)分析提供基礎(chǔ)數(shù)據(jù);智能電表數(shù)據(jù)與氣象數(shù)據(jù)和其他數(shù)據(jù)融合可為從每日到多年的交互式大數(shù)據(jù)分析系統(tǒng)服務(wù)，提供用戶、配變、變電站、系統(tǒng)多時(shí)間尺度數(shù)據(jù)分析等功能，以及系統(tǒng)用電行為分析，設(shè)備負(fù)載率分析，非常規(guī)用電行為分析和精準(zhǔn)營(yíng)銷等功能。

圖1 智能配用電分析數(shù)據(jù)源與生命周期

2、智能配用電大數(shù)據(jù)分析的關(guān)鍵技術(shù)

智能配用電大數(shù)據(jù)分析的關(guān)鍵技術(shù)共有4類，詳見圖2。第一類關(guān)鍵技術(shù)為數(shù)據(jù)集成平臺(tái)與數(shù)據(jù)模型技術(shù)研究，主要用于集成不同數(shù)據(jù)源的數(shù)據(jù)，通過SPARK分布式內(nèi)存架構(gòu)并行完成數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換等，并建立基于數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)一數(shù)據(jù)模型;第二類關(guān)鍵技術(shù)為智能配用電在線分析技術(shù)，基于SPARK的內(nèi)存并行流處理技術(shù)處理新進(jìn)入數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)，并且提供智能電表數(shù)據(jù)的數(shù)據(jù)質(zhì)量和供電質(zhì)量分析，以及用戶的用電行為和靜態(tài)負(fù)荷特性分析等功能，融合智能電表數(shù)據(jù)與配電SCADA和PUM數(shù)據(jù)來(lái)建立配電網(wǎng)狀態(tài)估計(jì)算法;第三類關(guān)鍵技術(shù)為智能配用電交互式分析技術(shù)，主要基于K系列數(shù)據(jù)挖掘算法將時(shí)間序列的數(shù)據(jù)分類，并提供基于智能電表數(shù)據(jù)的日負(fù)荷形狀和用電行為分析、配變負(fù)載率分析、大型電器用電行為分析、低壓電網(wǎng)拓?fù)涞确治觯诤现悄茈姳砗蚐CADA數(shù)據(jù)的變電站網(wǎng)損分析，以及基于PMU數(shù)據(jù)的動(dòng)態(tài)和靜態(tài)負(fù)荷特性辨識(shí);第四類關(guān)鍵技術(shù)為時(shí)空融合的配用電大數(shù)據(jù)分析應(yīng)用，主要基于多時(shí)空、多時(shí)間尺度數(shù)據(jù)分析，進(jìn)行變電站、配變數(shù)據(jù)等數(shù)據(jù)分析、負(fù)荷模型參數(shù)辨識(shí)等應(yīng)用，基于用戶智能電表的用戶畫像功能，和基于地理信息的用電行為分析、大型用電器行為分析、以及精準(zhǔn)營(yíng)銷的應(yīng)用。

圖2 智能配用電大數(shù)據(jù)分析的關(guān)鍵技術(shù)

2.1數(shù)據(jù)集成管理平臺(tái)架構(gòu)與統(tǒng)一數(shù)據(jù)模型技術(shù)

智能配用電大數(shù)據(jù)的第一個(gè)關(guān)鍵技術(shù)是數(shù)據(jù)集成管理平臺(tái)架構(gòu)與統(tǒng)一數(shù)據(jù)模型技術(shù)。集成管理平臺(tái)將若干分散的數(shù)據(jù)源中的數(shù)據(jù)，邏輯地或物理地集成到一個(gè)統(tǒng)一的數(shù)據(jù)集合，即統(tǒng)一數(shù)據(jù)模型中，為后續(xù)分析存儲(chǔ)一系列面向主題的、集成的、相對(duì)穩(wěn)定的、反應(yīng)歷史變化的數(shù)據(jù)集合，從而為系統(tǒng)提供全面的數(shù)據(jù)共享，解決電力企業(yè)內(nèi)部各系統(tǒng)間的數(shù)據(jù)冗余和信息孤島的問題。

配用電數(shù)據(jù)集成與管理平臺(tái)的數(shù)據(jù)源包括內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)。內(nèi)部數(shù)據(jù)包括智能電表數(shù)據(jù)、配電自動(dòng)化/SCADA數(shù)據(jù)、配電網(wǎng)線路信息、設(shè)備運(yùn)行信息、用戶信息、空間位置信息等;外部數(shù)據(jù)包括地理信息數(shù)據(jù)、氣象數(shù)據(jù)、人口數(shù)據(jù)等。這些數(shù)據(jù)根據(jù)其特性可以存儲(chǔ)在傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)中，也可以存儲(chǔ)在NoSQL數(shù)據(jù)庫(kù)中或是圖數(shù)據(jù)庫(kù)中。數(shù)據(jù)集成的核心任務(wù)是要將互相關(guān)聯(lián)的分布式異構(gòu)數(shù)據(jù)源集成到一起，使用戶能夠以透明的方式訪問這些數(shù)據(jù)源。

配用電數(shù)據(jù)基礎(chǔ)與管理平臺(tái)根據(jù)智能電網(wǎng)統(tǒng)一數(shù)據(jù)模型SGDM，按照從上至下的設(shè)計(jì)理念，將來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)按照資產(chǎn)信息、網(wǎng)絡(luò)拓?fù)淠Ｐ汀⒂脩粜畔⒑屯獠繑?shù)據(jù)進(jìn)行有機(jī)整合，覆蓋網(wǎng)絡(luò)運(yùn)行、賬戶管理、資產(chǎn)管理、客戶管理、停電管理、工作管理和天氣模型等業(yè)務(wù)領(lǐng)域，結(jié)合包括KPI在內(nèi)的智能電網(wǎng)大數(shù)據(jù)分析挖掘需求，針對(duì)支持電力公司的運(yùn)營(yíng)和發(fā)展、分析用戶行為與服務(wù)優(yōu)化、為政府與社會(huì)提供決策咨詢與支持3類應(yīng)用，設(shè)計(jì)8個(gè)業(yè)務(wù)域，49個(gè)主題域，定義包括實(shí)體及其關(guān)系在內(nèi)的邏輯模型，并依據(jù)第三范式原則優(yōu)化物理模型。

針對(duì)配用電數(shù)據(jù)的來(lái)源多重性、實(shí)時(shí)交互性、時(shí)間相關(guān)性和多尺度性，見圖3，SPARK中的彈性分布式數(shù)據(jù)集(RDDs)運(yùn)用高效的數(shù)據(jù)共享概念和類似于MapReduce的操作方式，集成地理信息等靜態(tài)數(shù)據(jù)，并通過通過離散流將動(dòng)態(tài)流數(shù)據(jù)集成，在一段時(shí)間周期上進(jìn)行一系列確定性的批處理計(jì)算。在數(shù)據(jù)倉(cāng)庫(kù)中分層處理不同的數(shù)據(jù)，其中包含基礎(chǔ)數(shù)據(jù)層、數(shù)據(jù)分析層和核心展示層。在基礎(chǔ)數(shù)據(jù)層采用標(biāo)準(zhǔn)化的公共信息模型(common information model，CIM)，用于描述能量管理系統(tǒng)中主要數(shù)據(jù)對(duì)象，是面向電力生產(chǎn)交易全環(huán)節(jié)相關(guān)對(duì)象及其關(guān)系的面向?qū)ο蠼７椒āＴ跀?shù)據(jù)分析層，采用包括規(guī)則引擎、報(bào)表工具、挖掘工具、可視化互動(dòng)分析工具等軟件，為大數(shù)據(jù)實(shí)驗(yàn)室未來(lái)的各類專題研究提供數(shù)據(jù)分析手段。在核心展示層安裝地理信息，按照從配電系統(tǒng)到變電站到配變最后到每個(gè)用戶逐級(jí)展示負(fù)荷特性、有功功率和無(wú)功功率、電能質(zhì)量和負(fù)載等信息。

圖3 數(shù)據(jù)集成管理平臺(tái)架構(gòu)與統(tǒng)一數(shù)據(jù)模型技術(shù)