電力信息系統(tǒng)去IOE可行性研究
0 引言
隨著信息安全事件的頻發(fā)以及業(yè)務(wù)對數(shù)據(jù)存儲、需求響應(yīng)能力要求的提高,各行各業(yè)都在進行去IOE嘗試,即去掉業(yè)務(wù)系統(tǒng)架構(gòu)的IBM小型機、Oracle數(shù)據(jù)庫、EMC存儲。文獻[1]中介紹了阿里巴巴去IOE的初衷、IOE的技術(shù)替代等,最終阿里巴巴以其強大的技術(shù)團隊成功實現(xiàn)去IOE;文獻[2]中介紹了電信運營商去IOE的進程:針對核心系統(tǒng)逐步實現(xiàn)去IOE,針對非核心新建系統(tǒng)直接采用非IOE架構(gòu)建設(shè),并且還介紹了電信運營商在去I、去O、去E中存在的技術(shù)難點和對策方案;文獻[3]中介紹了電信運行商存在去IOE的訴求,但是同時也存在很多困難,如內(nèi)部技術(shù)實力缺乏、數(shù)據(jù)混亂不易遷移以及電信級服務(wù)具有不能出錯的要求等;文獻[4]對阿里巴巴去IOE進行了分析和評價,介紹了金融業(yè)的現(xiàn)狀,并討論了金融業(yè)去IOE的必要性,最后提出了金融業(yè)可借鑒的阿里巴巴去IOE的經(jīng)驗;文獻[5]國網(wǎng)黑龍江電力從信息安全方面考慮,研發(fā)了一套高性能數(shù)據(jù)庫方案實現(xiàn)了財務(wù)管控系統(tǒng)的去O;文獻[6-8]對國內(nèi)企業(yè)如互聯(lián)網(wǎng)、電信運營商、金融、能源在去IOE中面臨的問題以及采用的解決方案進行了綜合討論,提出應(yīng)該結(jié)合自身的成本、技術(shù)積累等決定是否去IOE,不能盲從。
即使已經(jīng)有不少行業(yè)針對去IOE做了很多研
究[9-12],但是針對電力信息業(yè)務(wù)去IOE的研究還不是很多,尤其結(jié)合信息業(yè)務(wù)的特點來決定是否去IOE的研究基本沒有,因此本文首先分析成功去IOE的系統(tǒng)的業(yè)務(wù)特點,基于研究結(jié)果,探討電力信息系統(tǒng)中滿足去IOE條件的業(yè)務(wù),為電力信息業(yè)務(wù)去IOE指明方向,具有重要參考價值。
1 去IOE業(yè)務(wù)本質(zhì)研究
1.1 阿里巴巴去IOE
由于IOE技術(shù)體系架構(gòu)已經(jīng)不能滿足海量數(shù)據(jù)處理、大規(guī)模并發(fā)訪問等業(yè)務(wù),并且一個企業(yè)過于依賴專用的硬件設(shè)備比較危險,因此,阿里巴巴于
2008年提出去IOE戰(zhàn)略。
1999年底,隨著互聯(lián)網(wǎng)高潮來臨,中國網(wǎng)絡(luò)購物的用戶規(guī)模不斷上升;從2009年開始,中國網(wǎng)絡(luò)購物市場交易規(guī)模開始突飛猛進,2009年到2016年間中國網(wǎng)絡(luò)購物市場延續(xù)用戶規(guī)模、交易規(guī)模的雙增長態(tài)勢,2009—2016年中國網(wǎng)絡(luò)購物市場交易規(guī)模增長趨勢如
淘寶、天貓在所有網(wǎng)絡(luò)購物平臺中交易量居首,因此,隨著網(wǎng)絡(luò)交易規(guī)模的擴大,阿里巴巴業(yè)務(wù)量急劇增長,尤其是“雙11”購物狂歡節(jié),日交易量達到頂峰。2009—2016年淘寶天貓雙11成交額如
爆炸式增長的業(yè)務(wù),對阿里巴巴傳統(tǒng)IT系統(tǒng)的計算能力以及存儲能力帶來了很大的挑戰(zhàn)。阿里巴巴傳統(tǒng)IT系統(tǒng)的搭建采用IBM小型機、Oracle數(shù)據(jù)庫、EMC存儲設(shè)備,業(yè)務(wù)的增長造成系統(tǒng)規(guī)模擴大、復(fù)雜度提高,其管理和維護都面臨極大的困難。在處理海量數(shù)據(jù)的并發(fā)訪問時,“IOE”體系就像是一個集中式的強大單點,這個集中式的強大單點具有穩(wěn)定性差、容災(zāi)切換復(fù)雜、擴容能力有限等缺點,嚴(yán)重制約了阿里巴巴業(yè)務(wù)的發(fā)展。此外,由于阿里巴巴處于業(yè)務(wù)高速增長的階段,對IT系統(tǒng)和架構(gòu)的靈活性具有較高的要求,因此,產(chǎn)品體系相對封閉的“IOE”架構(gòu)也限制了其自身技術(shù)潛力的發(fā)揮。
在這種情況下,阿里巴巴集團于2010年1月正式啟動了“去IOE”戰(zhàn)略。阿里巴巴的“去IOE”行動是在不斷地嘗試過程中循序漸進、依次深入進行的,主要分為以下3個階段。
1)淘寶商品庫嘗試“去O”。實現(xiàn)商品庫Oracle數(shù)據(jù)庫的讀寫分離,把不重要的業(yè)務(wù)遷移到MySQL上,梳理核心業(yè)務(wù)接口,為其未來遷移到MySQL做準(zhǔn)備。
2)淘寶三大庫“去IOE”。2011年7月,淘寶最核心的用戶中心庫、商品庫完成從集中式到分布式的遷移,標(biāo)志著用戶庫和商品庫實現(xiàn)了“去IOE”;此外,淘寶的交易庫也逐步向MySQL遷移,2011年9月交易庫完成“去IOE”。
3)阿里巴巴內(nèi)部全面推行“去IOE”。2013年5月,阿里巴巴的最后一臺IBM小型機在支付寶系統(tǒng)中下線;2個月之后,淘寶的最后一個Oracle數(shù)據(jù)庫在淘寶重中之重的廣告系統(tǒng)中下線。
阿里巴巴集團去IOE進程如
阿里巴巴去“IOE”的成功實施,不僅保證了集團快速增長的業(yè)務(wù)需求,而且能夠應(yīng)對“雙11”零點的單點極大峰值情況,同時,阿里巴巴團隊積累了大量的技術(shù)經(jīng)驗,業(yè)務(wù)架構(gòu)更加開放靈活,降低了對設(shè)備廠商的依賴,提高了框架和技術(shù)的自主把控能力。
1.2 12306網(wǎng)站去IOE
鐵道部的12306網(wǎng)上購票系統(tǒng)于2011年年底全面投入使用,新穎的在線購票方式方便了大家的出行,然而由于2012年春運訪問量超出設(shè)計預(yù)期,導(dǎo)致網(wǎng)站出現(xiàn)頁面訪問過慢、用戶無法登錄、查詢和下單出錯、后臺系統(tǒng)過載等一系列問題,引起用戶怨聲載道。
針對該問題,2012年,中國鐵道科學(xué)院電子計算技術(shù)研究所選擇Pivotal GemFire分布式內(nèi)存計算平臺(Distributed In-memory computing)對12306網(wǎng)站的余票查詢系統(tǒng)和訂單查詢系統(tǒng)進行改造,大大加快了查詢速度;但是由于12306網(wǎng)站訪問峰谷的查詢流量有天壤之別,在成本和并發(fā)能力之間不能做出好的平衡,2015年,通過阿里云的彈性和按量付費的計量方式,12306網(wǎng)站把查詢系統(tǒng)放在云上,實現(xiàn)了查詢系統(tǒng)的去IOE[13]。
查詢業(yè)務(wù)占12306網(wǎng)站訪問流量的90%,與阿里云的合作大大減少12306網(wǎng)站的壓力,根據(jù)訪問峰谷彈性購買云服務(wù)的機制,不僅保證訪問高峰時期網(wǎng)站具有高效的查詢效率,而且在訪問低谷時期節(jié)省資源、減少成本,有效地化解了12306面臨的困境。
1.3 去IOE業(yè)務(wù)本質(zhì)
上述2個實例表明,阿里巴巴實現(xiàn)了全網(wǎng)的去IOE,12306網(wǎng)站僅是實現(xiàn)了查詢系統(tǒng)的去IOE。去IOE能夠以較低成本根據(jù)業(yè)務(wù)流量比較容易地實現(xiàn)橫向擴展,而且可以擺脫對國外產(chǎn)品的依賴,保證系統(tǒng)的安全性。為什么12306網(wǎng)站的訂票系統(tǒng)不采用此技術(shù),而仍然采用傳統(tǒng)的IOE架構(gòu)呢?可以從以下3點進行討論。
1)業(yè)務(wù)的關(guān)聯(lián)性。阿里巴巴中每一類商品的交易都是獨立的,交易操作只會造成該類商品的數(shù)量發(fā)生變化,而不會影響其他商品的數(shù)量;而12306網(wǎng)站中的車票一旦發(fā)生交易操作,則會影響該次列車所有里程之間的車票數(shù)量發(fā)生變化,假設(shè)一次列車所經(jīng)站點為北京、保定、石家莊,此時下單一張北京—石家莊的車票,那么北京—石家莊、北京—保定、保定—石家莊的所有余票數(shù)量都會發(fā)生變化,這些余票數(shù)量通過復(fù)雜的算法計算得到。由此可知,阿里巴巴中商品的交易業(yè)務(wù)沒有關(guān)聯(lián)性,無關(guān)聯(lián)的業(yè)務(wù)可以進行并行處理,采用分布式架構(gòu)對此類業(yè)務(wù)是很好的解決方案,隨著業(yè)務(wù)量的加大,只需橫向增加計算、存儲資源就可以輕松應(yīng)對;而12306中車票的交易業(yè)務(wù)之間具有強關(guān)聯(lián)性,采用串行處理方式:一次業(yè)務(wù)的執(zhí)行,必須對其他業(yè)務(wù)加鎖,直到此次業(yè)務(wù)執(zhí)行完成,才能對其他交易解鎖執(zhí)行,此類業(yè)務(wù)采用去IOE技術(shù)時,采用的x86處理器性能遠遠低于小型機,而且增加了I/O開銷,反而降低了業(yè)務(wù)處理速度。
2)數(shù)據(jù)庫讀寫速度。IOE中的Oracle是一個高效率的適應(yīng)高吞吐量的數(shù)據(jù)庫,適應(yīng)各種安裝環(huán)境;去IOE則是使用MySQL代替Oracle,MySQL在不需要事物化處理時被認為是一個較好的管理工具。對于關(guān)聯(lián)性業(yè)務(wù),一個業(yè)務(wù)數(shù)據(jù)的改變,使其他業(yè)務(wù)數(shù)據(jù)也一定會發(fā)生變化,需要對數(shù)據(jù)庫進行多次讀寫操作,因此數(shù)據(jù)庫需要具備較快的讀寫速度,通過大量實驗證明,Oracle讀寫速度優(yōu)于MySQL,因此串行業(yè)務(wù)需要謹(jǐn)慎考慮去O。
3)系統(tǒng)性能。阿里云系統(tǒng)是典型的分布式架構(gòu),和HPC系統(tǒng)相比具有可伸縮性強的優(yōu)點,隨著并行業(yè)務(wù)的增多,分布式系統(tǒng)通過增加成本較低的計算節(jié)點以滿足要求,但是處理串行業(yè)務(wù)時,重點考驗單個節(jié)點的計算能力,此時只有HPC系統(tǒng)才能保障業(yè)務(wù)處理效率。
上述論述證明,串行任務(wù)對單個計算節(jié)點的數(shù)據(jù)處理能力、數(shù)據(jù)庫的讀寫速度等都具有較高要求,而去IOE的分布式系統(tǒng)因為采用低性能的x86處理機、MySQL數(shù)據(jù)庫而不能達到性能要求,所以該類業(yè)務(wù)系統(tǒng)不適合實施去IOE;獨立的、無關(guān)聯(lián)性的業(yè)務(wù)可以并發(fā)處理,可以通過橫向擴展計算節(jié)點來提高業(yè)務(wù)處理速度、數(shù)據(jù)存儲空間,因此該類業(yè)務(wù)系統(tǒng)可以進行去IOE嘗試。
2 電力信息業(yè)務(wù)去IOE探討
電網(wǎng)具有生產(chǎn)方式多樣、運行方式復(fù)雜的特點,而且隨著國家電網(wǎng)公司提出建設(shè)堅強智能電網(wǎng)、建設(shè)“三集五大”體系,電網(wǎng)積累了大量運營數(shù)據(jù):體量大、類型多、價值高、速度快。面對電力負荷的快速增長以及基于大數(shù)據(jù)進行電力分析和預(yù)測的需求,國家電網(wǎng)現(xiàn)有系統(tǒng)已經(jīng)不能滿足業(yè)務(wù)變化需求,通過考察借鑒互聯(lián)網(wǎng)公司的架構(gòu)變遷經(jīng)驗,電網(wǎng)公司決定實施去IOE,轉(zhuǎn)而采用具有彈性結(jié)構(gòu)的分布式系統(tǒng)。
國家電網(wǎng)公司SG-ERP平臺按5條主線實現(xiàn)了對“SG186”八大業(yè)務(wù)的融合,5條主線如下:人財物集約化管理、能量全過程管理、資產(chǎn)全壽命管理、客戶全方位管理
責(zé)任編輯:售電衡衡
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計 -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng)
-
新基建助推 數(shù)據(jù)中心建設(shè)將迎爆發(fā)期
2020-06-16數(shù)據(jù)中心,能源互聯(lián)網(wǎng),電力新基建 -
泛在電力物聯(lián)網(wǎng)建設(shè)下看電網(wǎng)企業(yè)數(shù)據(jù)變現(xiàn)之路
2019-11-12泛在電力物聯(lián)網(wǎng) -
泛在電力物聯(lián)網(wǎng)建設(shè)典型實踐案例
2019-10-15泛在電力物聯(lián)網(wǎng)案例
-
新基建之充電樁“火”了 想進這個行業(yè)要“心里有底”
2020-06-16充電樁,充電基礎(chǔ)設(shè)施,電力新基建 -
燃料電池汽車駛?cè)雽こ0傩占疫€要多久?
-
備戰(zhàn)全面電動化 多部委及央企“定調(diào)”充電樁配套節(jié)奏
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計 -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲能行業(yè)發(fā)展
-
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng) -
5G新基建助力智能電網(wǎng)發(fā)展
2020-06-125G,智能電網(wǎng),配電網(wǎng) -
從智能電網(wǎng)到智能城市