時(shí)空飛越千萬(wàn)倍 內(nèi)存計(jì)算奇驚天
IDC發(fā)布《數(shù)字宇宙研究報(bào)告》稱:2011年全球被創(chuàng)建和復(fù)制的數(shù)據(jù)總量將達(dá)到1 8ZB,與2010年同期相比,上漲超過(guò)1ZB。如果按照全球人口總數(shù)70億換算,相當(dāng)于人手一塊容量為100GB的硬盤(pán)。報(bào)告預(yù)計(jì)到2015年,
IDC發(fā)布《數(shù)字宇宙研究報(bào)告》稱:2011年全球被創(chuàng)建和復(fù)制的數(shù)據(jù)總量將達(dá)到1.8ZB,與2010年同期相比,上漲超過(guò)1ZB。如果按照全球人口總數(shù)70億換算,相當(dāng)于人手一塊容量為100GB的硬盤(pán)。報(bào)告預(yù)計(jì)到2015年,全球數(shù)據(jù)量將達(dá)8ZB。——這意味著人類自結(jié)繩記事以來(lái)數(shù)千年所產(chǎn)生的數(shù)據(jù)總量,僅需兩到三年時(shí)間即可達(dá)到。大數(shù)據(jù)時(shí)代已然來(lái)臨。
快速膨脹的數(shù)據(jù)量,若缺乏很好的預(yù)先規(guī)劃跟及時(shí)的應(yīng)變對(duì)策,企業(yè)面臨的風(fēng)險(xiǎn)勢(shì)必更加嚴(yán)峻。正是認(rèn)識(shí)到了這一點(diǎn),遼寧電力有限公司率先了解各種大數(shù)據(jù)處理技術(shù),尤其深入研究了SAP HANA內(nèi)存計(jì)算技術(shù)原理及其主要特點(diǎn),以及該內(nèi)存計(jì)算技術(shù)驗(yàn)證項(xiàng)目實(shí)施工程方法,在分析海量歷史和實(shí)時(shí)信息處理存在的問(wèn)題的情況下,率先采用SAP HANA內(nèi)存計(jì)算技術(shù)進(jìn)行實(shí)際應(yīng)用。為進(jìn)一步了解該項(xiàng)目情況,本刊記者采訪了遼寧電力有限公司(以下簡(jiǎn)稱“遼電”)科技信息部副主任潘明惠先生。
電力信息化用戶參考:成功實(shí)施SGERP 以來(lái),遼電的數(shù)據(jù)情況發(fā)生了哪些變化?
潘明惠:隨著國(guó)家電網(wǎng)公司SG186工程全面完成,SGERP全面推進(jìn),電網(wǎng)基礎(chǔ)自動(dòng)化設(shè)備的不斷改進(jìn),智能電網(wǎng)應(yīng)用軟件及生產(chǎn)信息管理平臺(tái)的快速發(fā)展,信息化基礎(chǔ)設(shè)施和軟硬件快速擴(kuò)充,信息系統(tǒng)復(fù)雜度也大幅增加,信息量以幾何級(jí)數(shù)的增長(zhǎng)。然而隨著系統(tǒng)運(yùn)行與應(yīng)用水平的不斷提高,海量歷史和實(shí)時(shí)信息處理也出現(xiàn)了不少問(wèn)題。
例如數(shù)據(jù)量過(guò)大,系統(tǒng)資源有限,效率低、速度慢、運(yùn)行不出結(jié)果。較難支持大數(shù)據(jù)量的查詢、系統(tǒng)需要較長(zhǎng)時(shí)間處理查詢與分析。需要較為明確的查詢條件、較難一次性查詢到需要的信息;四是取數(shù)邏輯復(fù)雜,造成運(yùn)行無(wú)效率問(wèn)題,以致無(wú)法及時(shí)提供支持緊急需要的決策信息。對(duì)于隨著應(yīng)用持續(xù)深化,信息量持續(xù)增長(zhǎng),造成增加硬盤(pán)也無(wú)法解決的問(wèn)題。
電力信息化用戶參考:在這樣的情形之下,遼電做了哪些工作?
潘明惠:遼寧電力ERP項(xiàng)目歷時(shí)3年,完成包括ERP計(jì)劃、項(xiàng)目、設(shè)備、財(cái)務(wù)、物質(zhì)、人力資源等六大模塊在內(nèi)的單軌運(yùn)行、高級(jí)應(yīng)用、全覆蓋、流程管理、易用化及深化應(yīng)用,與PMS、GIS、營(yíng)銷管理、協(xié)同辦公、電子商務(wù)、經(jīng)濟(jì)法律等23個(gè)系統(tǒng)實(shí)現(xiàn)集成應(yīng)用。2011年,遼寧電力開(kāi)始著手SAP HANA內(nèi)存計(jì)算技術(shù)的驗(yàn)證項(xiàng)目與應(yīng)用研究, 驗(yàn)證場(chǎng)景涉及企業(yè)主營(yíng)業(yè)務(wù)中緊耦合的10大類業(yè)務(wù)36個(gè)場(chǎng)景,驗(yàn)證數(shù)據(jù)達(dá)116338.42 萬(wàn)條,數(shù)據(jù)量達(dá)9.52TB 。每種驗(yàn)證方案至少設(shè)計(jì)2個(gè)以上場(chǎng)景,由不同的技術(shù)顧問(wèn)進(jìn)行多方驗(yàn)證,以便從不同角度發(fā)現(xiàn)各種潛在問(wèn)題。經(jīng)過(guò)一年多的摸索,遼電在計(jì)算技術(shù)應(yīng)用、數(shù)據(jù)庫(kù)技術(shù)應(yīng)用和海量數(shù)據(jù)分析處理等方面取得了一些可喜成果。
電力信息化用戶參考:相較于其他大數(shù)據(jù)處理技術(shù),內(nèi)存計(jì)算技術(shù)基本原理是什么?
潘明惠:在軟件、硬件系統(tǒng)協(xié)同配置環(huán)境下,將數(shù)據(jù)庫(kù)及數(shù)據(jù)倉(cāng)庫(kù)移到內(nèi)存中進(jìn)行的運(yùn)算,突破I/O瓶徑限制,采用高效并行處理技術(shù),基于內(nèi)存的高效數(shù)據(jù)讀取和處理以及智能數(shù)據(jù)字典等高效的數(shù)據(jù)壓縮機(jī)制,支持行存儲(chǔ)和列存儲(chǔ)的內(nèi)存數(shù)據(jù)庫(kù),支持同時(shí)提供OLTP交易系統(tǒng)和OLAP分析系統(tǒng)。利用虛擬數(shù)據(jù)模型,實(shí)現(xiàn)內(nèi)存數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)的高效率計(jì)算功能,減少冗余的數(shù)據(jù),應(yīng)用內(nèi)置的計(jì)算引擎,將原來(lái)在應(yīng)用層進(jìn)行的運(yùn)算轉(zhuǎn)移到數(shù)據(jù)庫(kù)層面處理,對(duì)數(shù)據(jù)密集型運(yùn)算,優(yōu)化應(yīng)用層和數(shù)據(jù)庫(kù)層之間的數(shù)據(jù)交互,從而從整體上提升系統(tǒng)的效率。
電力信息化用戶參考:內(nèi)存計(jì)算技術(shù)在數(shù)據(jù)讀取和處理方面有哪些特點(diǎn)?
潘明惠:內(nèi)存計(jì)算技術(shù)是基于內(nèi)存的高效數(shù)據(jù)讀取和處理方式。從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)因?yàn)榇疟P(pán)I/O的性能限制而成為瓶頸,原因是傳統(tǒng)數(shù)據(jù)庫(kù)實(shí)際上是將數(shù)據(jù)以文件的形式存儲(chǔ)在磁盤(pán)上并為應(yīng)用提供訪問(wèn)數(shù)據(jù)的接口,從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)的本質(zhì)是從磁盤(pán)上讀取文件。在過(guò)去幾十年的硬件發(fā)展中,內(nèi)存和CPU的性能始終在飛速的提升,只有磁盤(pán)I/O的性能提升并不明顯。從磁盤(pán)上讀取數(shù)據(jù)的速度是毫秒級(jí)。而從內(nèi)存中讀取數(shù)據(jù)的速度是納秒級(jí),基于內(nèi)存的數(shù)據(jù)讀取比基于磁盤(pán)的數(shù)據(jù)讀取性能要快100萬(wàn)倍。所以當(dāng)基于數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行報(bào)表分析時(shí),
快速膨脹的數(shù)據(jù)量,若缺乏很好的預(yù)先規(guī)劃跟及時(shí)的應(yīng)變對(duì)策,企業(yè)面臨的風(fēng)險(xiǎn)勢(shì)必更加嚴(yán)峻。正是認(rèn)識(shí)到了這一點(diǎn),遼寧電力有限公司率先了解各種大數(shù)據(jù)處理技術(shù),尤其深入研究了SAP HANA內(nèi)存計(jì)算技術(shù)原理及其主要特點(diǎn),以及該內(nèi)存計(jì)算技術(shù)驗(yàn)證項(xiàng)目實(shí)施工程方法,在分析海量歷史和實(shí)時(shí)信息處理存在的問(wèn)題的情況下,率先采用SAP HANA內(nèi)存計(jì)算技術(shù)進(jìn)行實(shí)際應(yīng)用。為進(jìn)一步了解該項(xiàng)目情況,本刊記者采訪了遼寧電力有限公司(以下簡(jiǎn)稱“遼電”)科技信息部副主任潘明惠先生。
電力信息化用戶參考:成功實(shí)施SGERP 以來(lái),遼電的數(shù)據(jù)情況發(fā)生了哪些變化?
潘明惠:隨著國(guó)家電網(wǎng)公司SG186工程全面完成,SGERP全面推進(jìn),電網(wǎng)基礎(chǔ)自動(dòng)化設(shè)備的不斷改進(jìn),智能電網(wǎng)應(yīng)用軟件及生產(chǎn)信息管理平臺(tái)的快速發(fā)展,信息化基礎(chǔ)設(shè)施和軟硬件快速擴(kuò)充,信息系統(tǒng)復(fù)雜度也大幅增加,信息量以幾何級(jí)數(shù)的增長(zhǎng)。然而隨著系統(tǒng)運(yùn)行與應(yīng)用水平的不斷提高,海量歷史和實(shí)時(shí)信息處理也出現(xiàn)了不少問(wèn)題。
例如數(shù)據(jù)量過(guò)大,系統(tǒng)資源有限,效率低、速度慢、運(yùn)行不出結(jié)果。較難支持大數(shù)據(jù)量的查詢、系統(tǒng)需要較長(zhǎng)時(shí)間處理查詢與分析。需要較為明確的查詢條件、較難一次性查詢到需要的信息;四是取數(shù)邏輯復(fù)雜,造成運(yùn)行無(wú)效率問(wèn)題,以致無(wú)法及時(shí)提供支持緊急需要的決策信息。對(duì)于隨著應(yīng)用持續(xù)深化,信息量持續(xù)增長(zhǎng),造成增加硬盤(pán)也無(wú)法解決的問(wèn)題。
電力信息化用戶參考:在這樣的情形之下,遼電做了哪些工作?
潘明惠:遼寧電力ERP項(xiàng)目歷時(shí)3年,完成包括ERP計(jì)劃、項(xiàng)目、設(shè)備、財(cái)務(wù)、物質(zhì)、人力資源等六大模塊在內(nèi)的單軌運(yùn)行、高級(jí)應(yīng)用、全覆蓋、流程管理、易用化及深化應(yīng)用,與PMS、GIS、營(yíng)銷管理、協(xié)同辦公、電子商務(wù)、經(jīng)濟(jì)法律等23個(gè)系統(tǒng)實(shí)現(xiàn)集成應(yīng)用。2011年,遼寧電力開(kāi)始著手SAP HANA內(nèi)存計(jì)算技術(shù)的驗(yàn)證項(xiàng)目與應(yīng)用研究, 驗(yàn)證場(chǎng)景涉及企業(yè)主營(yíng)業(yè)務(wù)中緊耦合的10大類業(yè)務(wù)36個(gè)場(chǎng)景,驗(yàn)證數(shù)據(jù)達(dá)116338.42 萬(wàn)條,數(shù)據(jù)量達(dá)9.52TB 。每種驗(yàn)證方案至少設(shè)計(jì)2個(gè)以上場(chǎng)景,由不同的技術(shù)顧問(wèn)進(jìn)行多方驗(yàn)證,以便從不同角度發(fā)現(xiàn)各種潛在問(wèn)題。經(jīng)過(guò)一年多的摸索,遼電在計(jì)算技術(shù)應(yīng)用、數(shù)據(jù)庫(kù)技術(shù)應(yīng)用和海量數(shù)據(jù)分析處理等方面取得了一些可喜成果。
電力信息化用戶參考:相較于其他大數(shù)據(jù)處理技術(shù),內(nèi)存計(jì)算技術(shù)基本原理是什么?
潘明惠:在軟件、硬件系統(tǒng)協(xié)同配置環(huán)境下,將數(shù)據(jù)庫(kù)及數(shù)據(jù)倉(cāng)庫(kù)移到內(nèi)存中進(jìn)行的運(yùn)算,突破I/O瓶徑限制,采用高效并行處理技術(shù),基于內(nèi)存的高效數(shù)據(jù)讀取和處理以及智能數(shù)據(jù)字典等高效的數(shù)據(jù)壓縮機(jī)制,支持行存儲(chǔ)和列存儲(chǔ)的內(nèi)存數(shù)據(jù)庫(kù),支持同時(shí)提供OLTP交易系統(tǒng)和OLAP分析系統(tǒng)。利用虛擬數(shù)據(jù)模型,實(shí)現(xiàn)內(nèi)存數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)的高效率計(jì)算功能,減少冗余的數(shù)據(jù),應(yīng)用內(nèi)置的計(jì)算引擎,將原來(lái)在應(yīng)用層進(jìn)行的運(yùn)算轉(zhuǎn)移到數(shù)據(jù)庫(kù)層面處理,對(duì)數(shù)據(jù)密集型運(yùn)算,優(yōu)化應(yīng)用層和數(shù)據(jù)庫(kù)層之間的數(shù)據(jù)交互,從而從整體上提升系統(tǒng)的效率。
電力信息化用戶參考:內(nèi)存計(jì)算技術(shù)在數(shù)據(jù)讀取和處理方面有哪些特點(diǎn)?
潘明惠:內(nèi)存計(jì)算技術(shù)是基于內(nèi)存的高效數(shù)據(jù)讀取和處理方式。從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)因?yàn)榇疟P(pán)I/O的性能限制而成為瓶頸,原因是傳統(tǒng)數(shù)據(jù)庫(kù)實(shí)際上是將數(shù)據(jù)以文件的形式存儲(chǔ)在磁盤(pán)上并為應(yīng)用提供訪問(wèn)數(shù)據(jù)的接口,從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)的本質(zhì)是從磁盤(pán)上讀取文件。在過(guò)去幾十年的硬件發(fā)展中,內(nèi)存和CPU的性能始終在飛速的提升,只有磁盤(pán)I/O的性能提升并不明顯。從磁盤(pán)上讀取數(shù)據(jù)的速度是毫秒級(jí)。而從內(nèi)存中讀取數(shù)據(jù)的速度是納秒級(jí),基于內(nèi)存的數(shù)據(jù)讀取比基于磁盤(pán)的數(shù)據(jù)讀取性能要快100萬(wàn)倍。所以當(dāng)基于數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行報(bào)表分析時(shí),
責(zé)任編輯:何健
免責(zé)聲明:本文僅代表作者個(gè)人觀點(diǎn),與本站無(wú)關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾,請(qǐng)讀者僅作參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。
我要收藏
個(gè)贊
-
曹志剛:我們期待風(fēng)電成為中國(guó)的主力能源
2020-11-17風(fēng)電,能源,主力能源 -
張鈞:未來(lái)配電網(wǎng)內(nèi)涵特征與發(fā)展框架研究
-
習(xí)近平:持續(xù)增強(qiáng)電力裝備、新能源等領(lǐng)域的全產(chǎn)業(yè)鏈優(yōu)勢(shì)
2020-11-02電力裝備,新能源,通信設(shè)備
-
曹志剛:我們期待風(fēng)電成為中國(guó)的主力能源
2020-11-17風(fēng)電,能源,主力能源 -
張鈞:未來(lái)配電網(wǎng)內(nèi)涵特征與發(fā)展框架研究
-
杜祥琬:創(chuàng)新觀念,推動(dòng)能源高質(zhì)量發(fā)展
2020-09-28能源,創(chuàng)新,觀點(diǎn)