智能電網(wǎng)是大數(shù)據(jù)的重要技術(shù)應(yīng)用領(lǐng)域之一。智能電網(wǎng)大數(shù)據(jù)結(jié)構(gòu)復(fù)雜、種類繁多，具有分散性、多樣性和復(fù)雜性等特征，這些特征給大數(shù)據(jù)處理帶來(lái)極大的挑戰(zhàn)。智能電網(wǎng)大數(shù)據(jù)平臺(tái)是大數(shù)據(jù)挖掘的基礎(chǔ)，通過(guò)智能電網(wǎng)大數(shù)據(jù)平臺(tái)可實(shí)現(xiàn)智能電網(wǎng)全數(shù)據(jù)共享，為業(yè)務(wù)應(yīng)用開發(fā)和運(yùn)行提供支撐。

　　智能電網(wǎng)是以物理電網(wǎng)為基礎(chǔ)，將現(xiàn)代先進(jìn)的傳感測(cè)量技術(shù)、通信技術(shù)、信息技術(shù)、計(jì)算機(jī)技術(shù)和控制技術(shù)與物理電網(wǎng)高度集成而形成的新型電網(wǎng)，見圖1。它涵蓋發(fā)電、輸電、變電、配電、用電和調(diào)度等各個(gè)環(huán)節(jié)，對(duì)電力市場(chǎng)中各利益方的需求和功能進(jìn)行協(xié)調(diào)，在保證系統(tǒng)各部分高效運(yùn)行、降低運(yùn)營(yíng)成本和環(huán)境影響的同時(shí)，盡可能提高系統(tǒng)的可靠性、自愈性和穩(wěn)定性。隨著智能電網(wǎng)的發(fā)展，電網(wǎng)在電力系統(tǒng)運(yùn)行、設(shè)備狀態(tài)監(jiān)測(cè)、用電信息采集、營(yíng)銷業(yè)務(wù)系統(tǒng)等各個(gè)方面產(chǎn)生和沉淀了大量數(shù)據(jù)，充分挖掘這些數(shù)據(jù)的價(jià)值具有重要的意義。

　　大數(shù)據(jù)是近年來(lái)受到廣泛關(guān)注的新概念，一般是指無(wú)法在可容忍的時(shí)間內(nèi)用傳統(tǒng)的it技術(shù)、軟硬件工具和數(shù)學(xué)分析方法，對(duì)其進(jìn)行感知、獲取、管理、處理和分析的數(shù)據(jù)集合。智能電網(wǎng)被看作是大數(shù)據(jù)應(yīng)用的重要技術(shù)領(lǐng)域之一。目前許多學(xué)者正在進(jìn)行智能電網(wǎng)大數(shù)據(jù)研究，包括發(fā)展戰(zhàn)略研究、大數(shù)據(jù)技術(shù)研究、應(yīng)用研究等。

　　智能電網(wǎng)大數(shù)據(jù)應(yīng)用眾多，涉及電網(wǎng)安全穩(wěn)定運(yùn)行、節(jié)能經(jīng)濟(jì)調(diào)度、供電可靠性、經(jīng)濟(jì)社會(huì)發(fā)展分析等諸多方面，進(jìn)行智能電網(wǎng)大數(shù)據(jù)分析需要統(tǒng)一智能電網(wǎng)大數(shù)據(jù)，并且由于應(yīng)用眾多，對(duì)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等性能提出了較高要求，因此需要構(gòu)建面向智能電網(wǎng)應(yīng)用的統(tǒng)一大數(shù)據(jù)處理平臺(tái)。本文首先分析智能電網(wǎng)大數(shù)據(jù)特點(diǎn)以及業(yè)務(wù)應(yīng)用需求，接著結(jié)合業(yè)務(wù)應(yīng)用介紹大數(shù)據(jù)關(guān)鍵技術(shù)，進(jìn)而提出智能電網(wǎng)大數(shù)據(jù)平臺(tái)和應(yīng)用框架。

　　1智能電網(wǎng)大數(shù)據(jù)概述

　　1.1智能電網(wǎng)大數(shù)據(jù)特點(diǎn)

　　根據(jù)數(shù)據(jù)來(lái)源的不同，可以將智能電網(wǎng)大數(shù)據(jù)分為電力企業(yè)內(nèi)部數(shù)據(jù)和電力企業(yè)外部數(shù)據(jù)。電力企業(yè)內(nèi)部數(shù)據(jù)源主要包括廣域量測(cè)系統(tǒng)(wams)、數(shù)據(jù)采集與監(jiān)控系統(tǒng)(scada)、在線監(jiān)測(cè)系統(tǒng)、用電信息采集系統(tǒng)、生產(chǎn)管理系統(tǒng)、能量管理系統(tǒng)、配電管理系統(tǒng)、客戶服務(wù)系統(tǒng)、財(cái)務(wù)管理系統(tǒng)等;電力企業(yè)外部數(shù)據(jù)源包括氣象信息系統(tǒng)、地理信息系統(tǒng)、互聯(lián)網(wǎng)數(shù)據(jù)、公共服務(wù)部門數(shù)據(jù)、社會(huì)經(jīng)濟(jì)數(shù)據(jù)等。這些數(shù)據(jù)分散放置在不同地方，由不同單位/部門管理，具有分散放置、分布管理的特性。

　　智能電網(wǎng)大數(shù)據(jù)結(jié)構(gòu)復(fù)雜、種類繁多，除傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)外，還包含大量的半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，如客戶服務(wù)中心信息系統(tǒng)的語(yǔ)音數(shù)據(jù)，設(shè)備在線監(jiān)測(cè)系統(tǒng)中的視頻數(shù)據(jù)與圖像數(shù)據(jù)等。這些數(shù)據(jù)的采樣頻率與生命周期也各不同，從微秒級(jí)、分鐘級(jí)、小時(shí)級(jí)，一直到年度級(jí)，見圖2。

圖2 智能電網(wǎng)數(shù)據(jù)采用頻率和生命周期

　　1.2大數(shù)據(jù)業(yè)務(wù)需求分析

　　智能電網(wǎng)大數(shù)據(jù)業(yè)務(wù)應(yīng)用根據(jù)對(duì)象不同可分為面向電力公司運(yùn)行管理、面向電力用戶服務(wù)、面向政府部門輔助決策等3類。面向電力公司運(yùn)行管理類應(yīng)用包括電力系統(tǒng)穩(wěn)定性分析與控制、輸變電設(shè)備故障診斷與狀態(tài)檢修、配電網(wǎng)運(yùn)行狀態(tài)評(píng)估與預(yù)警、配電網(wǎng)故障定位、負(fù)荷預(yù)測(cè)、城市電網(wǎng)規(guī)劃等;面向電力用戶服務(wù)類應(yīng)用包括用戶用電行為分析、需求側(cè)管理、能效分析、供電服務(wù)輿情分析等;面向政府部門輔助決策類應(yīng)用包括社會(huì)經(jīng)濟(jì)狀況分析與預(yù)測(cè)、政府決策支持與相關(guān)政策評(píng)估，如電價(jià)政策、新能源補(bǔ)貼政策等是否合理等。這些需求需要綜合電網(wǎng)運(yùn)行狀態(tài)信息、用戶用電信息、客服系統(tǒng)信息、氣象數(shù)據(jù)、經(jīng)濟(jì)社會(huì)數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)等。

　　2智能電網(wǎng)大數(shù)據(jù)關(guān)鍵技術(shù)

　　根據(jù)信息處理流程，大數(shù)據(jù)在智能電網(wǎng)中的應(yīng)用可以分為數(shù)據(jù)采集、數(shù)據(jù)清理、數(shù)據(jù)存儲(chǔ)及處理、數(shù)據(jù)分析、數(shù)據(jù)解讀和數(shù)據(jù)應(yīng)用6個(gè)環(huán)節(jié)，其關(guān)鍵技術(shù)包括數(shù)據(jù)集成技術(shù)、數(shù)據(jù)存儲(chǔ)技術(shù)、數(shù)據(jù)處理技術(shù)和數(shù)據(jù)分析技術(shù)。 

　　2.1數(shù)據(jù)集成技術(shù)

　　智能電網(wǎng)大數(shù)據(jù)具有分散性、多樣性和復(fù)雜性等特征，這些特征給大數(shù)據(jù)處理帶來(lái)極大的挑戰(zhàn)。要想處理智能電網(wǎng)大數(shù)據(jù)，首先就需要對(duì)眾多數(shù)據(jù)源的數(shù)據(jù)進(jìn)行集成，通過(guò)數(shù)據(jù)抽取、轉(zhuǎn)換、剔除、修正等處理，建立正確、完整、一致、完備、有效的智能電網(wǎng)大數(shù)據(jù)。目前通常采用的數(shù)據(jù)集成模型包括數(shù)據(jù)聯(lián)邦、基于中間件模型和數(shù)據(jù)倉(cāng)庫(kù)等。

　　etl 是企業(yè)數(shù)據(jù)集成的主要解決方案。etl指extract、transform、load，即抽取、轉(zhuǎn)換、加載。數(shù)據(jù)抽取是從源數(shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù);數(shù)據(jù)轉(zhuǎn)換是將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務(wù)需求，轉(zhuǎn)換成目的數(shù)據(jù)源要求的形式，并對(duì)錯(cuò)誤、不一致的數(shù)據(jù)進(jìn)行清洗和加工;數(shù)據(jù)加載是將轉(zhuǎn)換后的數(shù)據(jù)加載到目的數(shù)據(jù)源。etl過(guò)程中的主要環(huán)節(jié)就是數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和加工、數(shù)據(jù)加載。為了實(shí)現(xiàn)這些功能，各個(gè)etl工具一般會(huì)進(jìn)行一些功能上的擴(kuò)充，例如工作流、調(diào)度引擎、規(guī)則引擎、腳本支持、統(tǒng)計(jì)信息等。

　　數(shù)據(jù)集成是智能電網(wǎng)大數(shù)據(jù)應(yīng)用的關(guān)鍵環(huán)節(jié)。智能電網(wǎng)大數(shù)據(jù)集成涉及眾多各類型的應(yīng)用系統(tǒng)，這些系統(tǒng)類型和特征復(fù)雜，在實(shí)時(shí)性要求、數(shù)據(jù)規(guī)模、數(shù)據(jù)類型等方面存在較大的差異，在智能電網(wǎng)大數(shù)據(jù)集成中需要綜合考慮各種因素，在集成技術(shù)上單一技術(shù)可能很難實(shí)現(xiàn)，需要結(jié)合多種技術(shù)來(lái)實(shí)現(xiàn)智能電網(wǎng)大數(shù)據(jù)的集成。

　　2.2數(shù)據(jù)存儲(chǔ)技術(shù)

　　在智能電網(wǎng)大數(shù)據(jù)中，絕大多數(shù)數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)，同時(shí)也存在文本、圖像、音頻、視頻等非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)。對(duì)非結(jié)構(gòu)化數(shù)據(jù)可采用分布式文件系統(tǒng)進(jìn)行存儲(chǔ)，對(duì)結(jié)構(gòu)松散無(wú)模式的半結(jié)構(gòu)化數(shù)據(jù)可采用分布式數(shù)據(jù)庫(kù)，對(duì)海量的結(jié)構(gòu)化數(shù)據(jù)可采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)或分布式并行數(shù)據(jù)庫(kù)。

　　2.2.1 分布式文件系統(tǒng)

　　分布式文件系統(tǒng)適合存儲(chǔ)海量的非結(jié)構(gòu)化數(shù)據(jù)，將數(shù)據(jù)存儲(chǔ)在物理上分散的多個(gè)存儲(chǔ)節(jié)點(diǎn)上，對(duì)這些節(jié)點(diǎn)的資源進(jìn)行統(tǒng)一管理和分配，并向用戶提供文件系統(tǒng)訪問(wèn)接口，主要解決本地文件系統(tǒng)在文件大小、文件數(shù)量、打開文件數(shù)等方面的限制問(wèn)題。

　　hadoop 是大數(shù)據(jù)的一個(gè)解決方案，可以實(shí)現(xiàn)大數(shù)據(jù)的存儲(chǔ)、分析和管理[9]。hdfs (hadoop distributed file system)是一個(gè)分布式文件系統(tǒng)，它是開源項(xiàng)目hadoop的家族成員。hdfs將大規(guī)模數(shù)據(jù)分割為大小為64兆字節(jié)的數(shù)據(jù)塊，存儲(chǔ)在多個(gè)數(shù)據(jù)節(jié)點(diǎn)組成的分布式集群中，當(dāng)數(shù)據(jù)規(guī)模增加時(shí)，只需要在集群中增加更多的數(shù)據(jù)節(jié)點(diǎn)，具有很強(qiáng)的可擴(kuò)展性;同時(shí)每個(gè)數(shù)據(jù)塊會(huì)在不同的節(jié)點(diǎn)中存儲(chǔ)多個(gè)副本，具有高容錯(cuò)性;由于數(shù)據(jù)是分布存儲(chǔ)的，具有高吞吐量的數(shù)據(jù)訪問(wèn)能力。

　　2.2.2 分布式數(shù)據(jù)庫(kù)

　　大數(shù)據(jù)環(huán)境下對(duì)數(shù)據(jù)的存儲(chǔ)、管理、查詢和分析需要采用新的技術(shù)，傳統(tǒng)的數(shù)據(jù)庫(kù)在數(shù)據(jù)存儲(chǔ)規(guī)模、吞吐量、以及數(shù)據(jù)類型和支撐應(yīng)用等存在瓶頸。分布式數(shù)據(jù)庫(kù)由于具有很好的擴(kuò)展性和協(xié)同性，在大規(guī)模數(shù)據(jù)存儲(chǔ)和管理中得到廣泛的應(yīng)用。目前主要有鍵值存儲(chǔ)系統(tǒng)、文檔數(shù)據(jù)庫(kù)、圖數(shù)據(jù)庫(kù)等。

　　hbase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，它不同于一般的有模式的關(guān)系型數(shù)據(jù)庫(kù)，hbase存儲(chǔ)的數(shù)據(jù)表是無(wú)模式的，特別適合結(jié)構(gòu)復(fù)雜多樣的半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。hbase利用hdfs作為其文件存儲(chǔ)系統(tǒng)，可利用map-reduce技術(shù)來(lái)處理hbase中的海量數(shù)據(jù)。

　　2.2.3 關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)

　　智能電網(wǎng)中很大一部分?jǐn)?shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)，針對(duì)一些數(shù)據(jù)和業(yè)務(wù)應(yīng)用，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)可能更適合，因此在大數(shù)據(jù)環(huán)境下，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)也具有一定的應(yīng)用。基于傳統(tǒng)數(shù)據(jù)庫(kù)如oracle等構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，開展智能電網(wǎng)業(yè)務(wù)的分析挖掘。

　　智能電網(wǎng)大數(shù)據(jù)結(jié)構(gòu)復(fù)雜、種類繁多，其數(shù)據(jù)存儲(chǔ)需要根據(jù)數(shù)據(jù)的特點(diǎn)選用適合的數(shù)據(jù)存儲(chǔ)方式。數(shù)據(jù)管理也是智能電網(wǎng)大數(shù)據(jù)的重要功能，從整體上對(duì)存儲(chǔ)在不同系統(tǒng)上的數(shù)據(jù)進(jìn)行統(tǒng)一管理，并提供數(shù)據(jù)索引和查詢功能。綜合以上分析，數(shù)據(jù)存儲(chǔ)對(duì)比見表1。 

　　2.3數(shù)據(jù)處理技術(shù)

　　智能電網(wǎng)大數(shù)據(jù)的應(yīng)用類型多，需要根據(jù)不同的業(yè)務(wù)需求采用不同的數(shù)據(jù)處理技術(shù)。根據(jù)大數(shù)據(jù)的數(shù)據(jù)特征和計(jì)算需求，大數(shù)據(jù)處理技術(shù)分流處理、批處理、內(nèi)存計(jì)算、圖計(jì)算等。

　　2.3.1 流處理

　　流處理的處理模式將數(shù)據(jù)視為流，源源不斷的數(shù)據(jù)組成了數(shù)據(jù)流，當(dāng)新的數(shù)據(jù)到來(lái)時(shí)就立刻處理并返回所需的結(jié)果。數(shù)據(jù)流本身具有持續(xù)達(dá)到、速度快且規(guī)模巨大等特點(diǎn)，因此通常不會(huì)對(duì)所有的數(shù)據(jù)進(jìn)行永久化存儲(chǔ)，而且數(shù)據(jù)環(huán)境處在不斷的變化之中，系統(tǒng)很難準(zhǔn)確掌握整個(gè)數(shù)據(jù)的全貌。目前廣泛應(yīng)用的流處理系統(tǒng)有 twitter storm和yahoo s4。

　　storm是分布式實(shí)時(shí)計(jì)算系統(tǒng)，主要用于流數(shù)據(jù)處理，可以簡(jiǎn)單、高效、可靠地處理大量的數(shù)據(jù)流。它能夠處理源源不斷流進(jìn)來(lái)的信息，處理之后將結(jié)果寫入到某個(gè)存儲(chǔ)中去。storm的優(yōu)點(diǎn)是全內(nèi)存計(jì)算，因?yàn)閮?nèi)存尋址速度是硬盤的百萬(wàn)倍以上，所以 storm的速度較快。storm彌補(bǔ)了hadoop批處理所不能滿足的實(shí)時(shí)要求，經(jīng)常用于實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、持續(xù)計(jì)算、分布式遠(yuǎn)程調(diào)用和etl等領(lǐng)域。

　　2.3.2 批處理

　　google公司在2004年提出的map-reduce是最具代表性的批處理模式。map-reduce是一個(gè)使用簡(jiǎn)易的軟件框架，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算，主要用來(lái)進(jìn)行大規(guī)模離線數(shù)據(jù)分析。基于它實(shí)現(xiàn)的應(yīng)用程序能夠運(yùn)行在由數(shù)千個(gè)商用機(jī)器組成的大型集群上，并以一種可靠容錯(cuò)的并行處理大規(guī)模數(shù)據(jù)集。map-reduce的核心思想是將問(wèn)題分而治之，并把計(jì)算推到數(shù)據(jù)所在的服務(wù)器，有效地避免數(shù)據(jù)傳輸過(guò)程中產(chǎn)生的大量通信開銷。

　　map-reduce的優(yōu)點(diǎn)主要有2個(gè)方面：①不僅能用于處理大規(guī)模數(shù)據(jù)，而且能將很多繁瑣的細(xì)節(jié)隱藏起來(lái)，如自動(dòng)并行化、負(fù)荷均衡和災(zāi)備管理等，這將極大簡(jiǎn)化開發(fā)工作;②伸縮性非常好，集群能夠方便的擴(kuò)展。而map- reduce的不足是其不適應(yīng)實(shí)時(shí)應(yīng)用的需求，只能進(jìn)行大規(guī)模離線數(shù)據(jù)分析。

　　2.3.3 內(nèi)存計(jì)算

　　隨著內(nèi)存價(jià)格的不斷下降，服務(wù)器配置的內(nèi)存容量不斷增大，用內(nèi)存計(jì)算來(lái)完成大規(guī)模數(shù)據(jù)處理成為可能。與hadoop map-reduce批處理相比，內(nèi)存計(jì)算能夠提供高性能的大數(shù)據(jù)分析處理能力。內(nèi)存計(jì)算是一種體系結(jié)構(gòu)上的解決方法，它可以和各種不同的計(jì)算模式相結(jié)合，包括批處理、流處理、圖計(jì)算等。比如spark是分布式內(nèi)存計(jì)算的一個(gè)典型并行計(jì)算框架，spark基于map-reduce算法實(shí)現(xiàn)的分布式計(jì)算，擁有hadoop map-reduce所具有的優(yōu)點(diǎn);但不同于map-reduce的是job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫hdfs，因此spark具有更好的性能，適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的map-reduce的算法。

　　智能電網(wǎng)大數(shù)據(jù)應(yīng)用根據(jù)業(yè)務(wù)特點(diǎn)和對(duì)處理響應(yīng)的時(shí)間來(lái)選擇數(shù)據(jù)處理的方式，針對(duì)電網(wǎng)安全在線分析、電網(wǎng)運(yùn)行監(jiān)控等業(yè)務(wù)，數(shù)據(jù)實(shí)時(shí)性要求高、需要作出迅速響應(yīng)，可以采用流處理內(nèi)存計(jì)算;而對(duì)于用戶用電行為分析等業(yè)務(wù)，實(shí)時(shí)性和響應(yīng)時(shí)間要求低，可以采用批處理方式。綜合以上分析，數(shù)據(jù)處理方式對(duì)比見表2。 

　　2.4數(shù)據(jù)分析技術(shù)

　　數(shù)據(jù)分析是智能電網(wǎng)大數(shù)據(jù)處理的核心，由于大數(shù)據(jù)的海量、復(fù)雜多樣、變化快等特性，大數(shù)據(jù)環(huán)境下的傳統(tǒng)小數(shù)據(jù)分析算法很多已不再適用，需要采用新的數(shù)據(jù)分析方法或?qū)ΜF(xiàn)有數(shù)據(jù)分析方法進(jìn)行改進(jìn)。

　　數(shù)據(jù)挖掘方法主要有分類、關(guān)聯(lián)分析、聚類、異常檢測(cè)、回歸分析等，其中每一類包括眾多的算法。分類包括支持向量機(jī)、決策樹、貝葉斯、神經(jīng)網(wǎng)絡(luò)等技術(shù);關(guān)聯(lián)分析包括apriori、fp-growth等算法;聚類分析分為劃分法、層次法、密度法、圖論法、模型法等，具體算法如k-means 算法、k-medoids算法、clara算法、clarans算法、som神經(jīng)網(wǎng)絡(luò)、fcm聚類算法等;異常檢測(cè)包括基于統(tǒng)計(jì)、距離、偏差、密度等方法。在智能電網(wǎng)應(yīng)用中需要對(duì)現(xiàn)有的算法進(jìn)行優(yōu)化和并行化改進(jìn)，實(shí)現(xiàn)分布式處理。

　　機(jī)器學(xué)習(xí)是面向任務(wù)解決的基于經(jīng)驗(yàn)提煉模型實(shí)現(xiàn)最優(yōu)解設(shè)計(jì)的計(jì)算機(jī)程序，通過(guò)經(jīng)驗(yàn)學(xué)習(xí)規(guī)律，一般應(yīng)用在缺少理論模型指導(dǎo)但存在經(jīng)驗(yàn)觀測(cè)的領(lǐng)域中。機(jī)器學(xué)習(xí)分為歸納學(xué)習(xí)、分析學(xué)習(xí)、類比學(xué)習(xí)、遺傳算法、聯(lián)接學(xué)習(xí)、增強(qiáng)學(xué)習(xí)等。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，2006年由hinton等提出，其目的在于建立模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，目前深度學(xué)習(xí)在語(yǔ)音識(shí)別、圖像識(shí)別、機(jī)器翻譯等領(lǐng)域進(jìn)行了應(yīng)用，并取得了較好的效果。

　　智能電網(wǎng)大數(shù)據(jù)挖掘主要為結(jié)構(gòu)化數(shù)據(jù)，同時(shí)也存在文本、圖像、音頻、視頻等數(shù)據(jù)，在智能電網(wǎng)大數(shù)據(jù)應(yīng)用中需要針對(duì)具體的業(yè)務(wù)采用合適的數(shù)據(jù)分析方法。

　　3智能電網(wǎng)大數(shù)據(jù)平臺(tái)

　　3.1核心平臺(tái)框架

　　智能電網(wǎng)大數(shù)據(jù)應(yīng)用需要構(gòu)建在大數(shù)據(jù)平臺(tái)之上，大數(shù)據(jù)平臺(tái)為應(yīng)用提供統(tǒng)一數(shù)據(jù)接入、清洗、存儲(chǔ)、管理、分析計(jì)算等功能。大數(shù)據(jù)核心平臺(tái)由基礎(chǔ)資源、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析與處理、數(shù)據(jù)管理、平臺(tái)服務(wù)和平臺(tái)管控等組成，見圖3。

圖3 智能電網(wǎng)大數(shù)據(jù)核心平臺(tái)框架圖

　　基礎(chǔ)資源層主要包括計(jì)算資源池、存儲(chǔ)資源池、網(wǎng)絡(luò)資源池，為虛擬化的資源，能夠?qū)崿F(xiàn)彈性的資源供給和擴(kuò)展。基于存儲(chǔ)資源池實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)的各種數(shù)據(jù)存儲(chǔ)功能，包括分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、傳統(tǒng)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)管理實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)的接入管理、數(shù)據(jù)清洗、數(shù)據(jù)統(tǒng)一建模、數(shù)據(jù)檢索、數(shù)據(jù)服務(wù)等功能。數(shù)據(jù)分析與處理是大數(shù)據(jù)平臺(tái)的核心，大數(shù)據(jù)平臺(tái)根據(jù)具體業(yè)務(wù)需求能夠提供批處理、流處理等功能，同時(shí)平臺(tái)能夠提供通用的數(shù)據(jù)分析算法包或工具，包括數(shù)據(jù)挖掘、統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)等。平臺(tái)管控包括資源調(diào)度、集群管控、安全管控、用戶管理等，實(shí)現(xiàn)對(duì)平臺(tái)的監(jiān)控、調(diào)度和管理。

　　3.2應(yīng)用框架

　　結(jié)合智能電網(wǎng)的應(yīng)用需求，在大數(shù)據(jù)核心平臺(tái)之上構(gòu)建各類大數(shù)據(jù)應(yīng)用。面向智能電網(wǎng)大數(shù)據(jù)的應(yīng)用框架見圖4。應(yīng)用整體框架分?jǐn)?shù)據(jù)集成與交互層、大數(shù)據(jù)核心平臺(tái)層、應(yīng)用層。

圖4 智能電網(wǎng)大數(shù)據(jù)應(yīng)用框架

　　4結(jié)語(yǔ)

　　1)智能電網(wǎng)大數(shù)據(jù)數(shù)據(jù)量大、類型多樣、數(shù)據(jù)特征復(fù)雜，同時(shí)業(yè)務(wù)應(yīng)用需求場(chǎng)景多，且存在交叉融合，對(duì)現(xiàn)有數(shù)據(jù)處理方式和平臺(tái)提出了很高的要求，需要采用新的大數(shù)據(jù)處理技術(shù)來(lái)支撐。

　　2)智能電網(wǎng)大數(shù)據(jù)關(guān)鍵技術(shù)包括數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)分析等技術(shù)，需要結(jié)合具體業(yè)務(wù)的特點(diǎn)和需求選擇相應(yīng)的技術(shù)。

　　3)智能電網(wǎng)大數(shù)據(jù)平臺(tái)需要構(gòu)建統(tǒng)一數(shù)據(jù)模型來(lái)實(shí)現(xiàn)智能電網(wǎng)各類數(shù)據(jù)的融合和共享，基于全數(shù)據(jù)進(jìn)行業(yè)務(wù)的開發(fā)和應(yīng)用，智能電網(wǎng)大數(shù)據(jù)平臺(tái)具有數(shù)據(jù)共享、應(yīng)用開發(fā)和業(yè)務(wù)運(yùn)行3方面功能。

　　4)隨著智能電網(wǎng)的發(fā)展，數(shù)據(jù)將成為核心資源，大數(shù)據(jù)平臺(tái)將承載智能電網(wǎng)眾多各類型應(yīng)用，其基礎(chǔ)作用將越來(lái)越重要。