LPAR技術在省級電網(wǎng)企業(yè)協(xié)同辦公系統(tǒng)中的應用
一 概述 隨著科學技術的迅猛發(fā)展,虛擬化技術日益成為關注的焦點,正在最大程度地改變企業(yè)IT基礎設施的部署及運營。而甘肅省級電網(wǎng)企業(yè)協(xié)同辦公系統(tǒng)即是打破原有本部、各地市公司兩級部署模式,采用大集中部
一. 概述
隨著科學技術的迅猛發(fā)展,虛擬化技術日益成為關注的焦點,正在最大程度地改變企業(yè)IT基礎設施的部署及運營。而甘肅省級電網(wǎng)企業(yè)協(xié)同辦公系統(tǒng)即是打破原有本部、各地市公司兩級部署模式,采用大集中部署的電力業(yè)務應用系統(tǒng)。即在甘肅省電力公司本部實現(xiàn)所有系統(tǒng)的集中部署,各地市公司通過訪問部署在本部的系統(tǒng)完成日常辦公業(yè)務。
由于采用大集中部署服務器的技術架構,考慮到機房實際容量及節(jié)省硬件采購成本,將其中兩臺IBM p6 570小型機采用邏輯分區(qū)(LPAR)技術,就是將單臺服務器劃分成多個邏輯服務器,彼此運行獨立的應用程序。
邏輯分區(qū)不同于物理分區(qū)(Physical Partitioning PPAR),物理分區(qū)是將物理的將資源組合形成分區(qū),而邏輯分區(qū)則不需要考慮物理資源的界限。相對而言,邏輯分區(qū)具有更多的靈活性,可以在物理資源中自由的選擇部件,這需要有比較好的保證,即最大化的使用系統(tǒng)資源,但又最小化不必要的資源再分配。在邏輯分區(qū)的環(huán)境下,如CPU、內存和I/O都可以獨立的分配給每個分區(qū)。
二. 技術特點
一個邏輯分區(qū)包含處理器、內存和I/O插槽,在一個系統(tǒng)中這些都是一個可用資源的子集,如圖3-1所示。當有這些配置規(guī)則,資源的單位顆粒度能夠非常彈性的被分配給分區(qū)。它有可能只添加很少的需要的內存,而不依靠內存控制器的大小或者不需要必須添加那些不需要的更多處理器或I/O插槽。不同于物理分區(qū)的方面是資源被分組形成一個分區(qū)。
2.1 Hypervisor模式
邏輯分區(qū)(LPAR)技術并不是系統(tǒng)上某一單獨部件能完成的,它依賴于軟件、硬件和firmware的協(xié)同工作才能實現(xiàn)。
首先,CPU能支持更多的系統(tǒng)調用(稱作系統(tǒng)管理程序Hypervisor模式)。另外要求CPU實模式訪問內存地址時具有尋址偏移量的能力。同樣,I/O bridge也必須支持I/O卡的DMA地址到內存地址的偏移量,因為這些地址也是由Hypervisor映射的。
2.1.1實模式地址尋址
每個操作系統(tǒng)的映象需要用實地址尋址的方式訪問內存,不用虛地址的翻譯,并且起始地址從零開始,通常先是內核代碼、固定的內核結構、和中斷矢量。由于在分區(qū)模式下,多個操作系統(tǒng)不能共享同樣的物理零地址,所以每個分區(qū)必須有自己的實地址段。
當每個分區(qū)被啟動后,固件賦予分區(qū)唯一的實地址起始偏移量和范圍值,并且將偏移量和范圍值存入到分區(qū)內每個CPU的寄存器內。這些值映射出賦給此分區(qū)的物理地址。當分區(qū)程序以實地址方式訪問指令和數(shù)據(jù)時,硬件自動將每個地址增加實地址偏移量。在這種模式下,邏輯分區(qū)程序似乎還保持從零地址尋址,雖然實際處理時,此虛地址被自動映射成另外的物理地址。硬件邏輯電路阻止運行在此分區(qū)內的操作系統(tǒng)修改這些寄存器的值。任何企圖訪問實地址超出所分配的地址范圍時,會引起地址異常中斷。
2.1.2 虛模式地址尋址
當程序在虛地址方式下訪問指令和數(shù)據(jù)時,它并不關心地址是否被虛擬內存管理(VMM)使用頁面轉換表進行了轉換。頁面轉換表存放在系統(tǒng)內存中,每個分區(qū)都有自己唯一的頁面轉換表。處理器使用這些表透明地將程序的虛地址轉換成物理地址。
在邏輯分區(qū)模式下,頁面轉換表被存放在一個特殊的內存區(qū)域,只能被hypervisor所訪問。換句話說,頁面轉換表并不在此分區(qū)所屬的實地址范圍內。保存頁面轉換表地址的寄存器也被硬件邏輯所保護,不能被分區(qū)程序所修改,只能被hypervisor管理程序所修改。
當操作系統(tǒng)需要產(chǎn)生一個頁面轉化映射時,分區(qū)內處理器必須執(zhí)行一個hypervisor服務調用指令。由hypervisor程序代表分區(qū)產(chǎn)生頁面表入口,并為此頁增加從邏輯地址到物理地址的偏移量。分區(qū)程序可以調用hypervisor修改或刪除存在的頁表項。
2.1.3 LPAR和操作系統(tǒng)的關系
在邏輯分區(qū)環(huán)境下操作系統(tǒng)的特殊處理,主要的不同是虛擬內存管理功能,只有分配給分區(qū)的設備才能被操作系統(tǒng)所訪問,操作系統(tǒng)不能訪問到分區(qū)外的任何資源。一些可選的hypervisor服務,用來處理Debug信息,以及每個分區(qū)的虛擬TTY 處理。
在pSeries硬件平臺上,提供了一系列的結構化固件在線提取服務(RTAS)調用,在LPAR模式下,這些調用執(zhí)行附加的有效性檢查和資源虛有化處理。例如,盡管只有一個物理的閃存和物理時鐘芯片,RTAS可讓每個分區(qū)都感覺有自己的閃存和不同的時鐘。
2.2 Firmware和AIX之間的關系
除了Hypervisor之外,當系統(tǒng)重置后運行在Open Firmware一層(稱作Global)能夠訪問系統(tǒng)中所有的設備和數(shù)據(jù)。當系統(tǒng)劃分邏輯分區(qū)后,存在另一個Open Firmware,它運行在Global上面。每一個分區(qū)有自己的分區(qū)固件,它可以訪問屬于自己分區(qū)內的所有設備,但是不能訪問其它分區(qū)內的設備。
2.3 健壯的LPAR的管理
hypervisor服務程序強迫分區(qū)的邊界和維護分區(qū)內資源的一致性。分區(qū)的管理也體現(xiàn)了安全性特點,分區(qū)的管理是通過IBM 硬件管理控制臺(HMC)來實現(xiàn)的,HMC提供了方便友好的界面,執(zhí)行硬件操作,執(zhí)行本地和遠程用戶訪問。
HMC是連接于服務處理器的,HMC送命令到服務處理器,管理存放在閃存中的LPAR配置表。當分區(qū)啟動時,hypervisor服務引用這些配置表,確認哪些資源是存放在哪些分區(qū)內的。這些表對運行在分區(qū)的操作系統(tǒng)是不可見的,只有HMC和hypervisor服務才能更改它。
只有合法的用戶才能設置HMC,每個HMC用戶都有指定的操作范圍,可以本地訪問HMC,遠程登錄訪問,以及使用OpenSSH進行命令行操作。
邏輯分區(qū)的設置也是通過HMC (Hardware Management Console)來完成,各個邏輯分區(qū)上的系統(tǒng)只能操作本分區(qū)內的資源,就像是一個獨立的系統(tǒng)一樣。如果某一分區(qū)內的系統(tǒng)癱瘓,不會影響到其它分區(qū)內的系統(tǒng)運行。即使在某個分區(qū)內發(fā)生了不可自動修復的硬件故障,只能造成這一分區(qū)的系統(tǒng)停止,而不會影響到其它分區(qū)內的系統(tǒng)。
一. LPAR技術在省級電網(wǎng)企業(yè)協(xié)同辦公系統(tǒng)中的應用
3.1 省級電網(wǎng)企業(yè)協(xié)同辦公系統(tǒng)物理架構
省級電網(wǎng)企業(yè)協(xié)同辦公系統(tǒng)核心應用區(qū),主要部署流程服務器、OA公文服務器、知識管理服務器、檔案管理服務器、團隊服務器、數(shù)據(jù)庫服務器、報表服務器、消息服務器、搜索服務器、電子印章服務器、存儲設備等。
其中,HQ_OA_AP1,HQ_OA_AP2和HQ_OA_WF1,HQ_OA_WF2是通過LPAR技術由兩臺操作系統(tǒng)為AIX5.2的實體機,虛擬成四臺服務器。
3.2 LPAR(邏輯分區(qū))的劃分
下圖是兩臺物理主機,劃分為四個邏輯分區(qū)(ap1、wf1和ap2、wf2)的情況:
內存和CPU的劃分:
3.3 PCI插槽的劃分情況
3.3.1 P570A
P570A (12C\48GB\4X300GB 15K)
CEC1:00DQD71CB
CEC2:00DQD72AR
CEC3:00DQD71BT
3.3.2 P570B
P570B (12C\48GB\4X300GB 15K)
CEC1:00DQD71CA
CEC2:00DQD71BZ
CEC3:00DQD71BV
說明:光驅、磁帶機、USB卡(用于連接鍵盤鼠標)屬于分區(qū)的共有資源,兩個分區(qū)中先啟動的將擁有這些資源,這些資源不能被兩個分區(qū)同時擁有。
一. LPAR技術優(yōu)勢
4.1 提高服務器資源利用率
由于LPAR邏輯分區(qū)技術的優(yōu)勢,可以提高服務器資源利用率,同時確保應用始終能夠獲得所需的資源。邏輯分區(qū)技術允許通過調整系統(tǒng)來合并多個獨立的工作負載,減少數(shù)據(jù)中心的資源占用,減少服務器的數(shù)量,提供一種服務器整合的方法。邏輯分區(qū)允許客戶在同一個服務器上的不同分區(qū)中運行不同的工作負載, 從而降低成本。并且簡化服務器的部署、管理和維護工作,降低管理費用。
4.2 提高數(shù)據(jù)安全性
因為邏輯分區(qū)是完全彼此獨立的,所以運行于不同分區(qū)的應用程序和工作負載不會彼此互相干擾。每一個分區(qū)的資源(CPU 、內存塊和適配卡)僅僅歸屬于分區(qū)本身,如果一個分區(qū)的應用程序消耗了所有分配的資源,仍然不會影響到運行于其他分區(qū)的應用,因為分區(qū)的資源是獨立的。這樣的LPAR邏輯分區(qū)技術采取彼此隔離的設計,在一個硬件服務器上進行多個分區(qū)設置,運行多個獨立的操作系統(tǒng),用于跨越分區(qū)邊界來保護安全性和保密策略,以提供高級別的數(shù)據(jù)安全性并提高應用的可用性。
4.3 靈活的工作量策略
對某些特定的工作負載或者應用可能會改變對資源的要求,然而對邏輯分區(qū),只是簡單再申請需要的硬件資源到需要改變資源的分區(qū)而已。同非邏輯分區(qū)的服務器相比,并不需要硬件資源的升級來匹配這種資源的改變。
二. 總結
省級電網(wǎng)企業(yè)協(xié)同辦公系統(tǒng)的服務器物理架構中采用了LPAR邏輯分區(qū)的虛擬化技術,通過將服務器資源分配到多個虛擬機,虛擬化支持不同的應用。每個虛擬機就像一臺獨立的服務器,但實際上在同一物理服務器內運行。在一臺服務器上運行多個應用能夠提高服務器效率,并減少需要管理和維護的服務器數(shù)量。當應用需求增加時,可以迅速創(chuàng)建更多虛擬機,從而無需增加物理服務器即可靈活地響應不斷變化的需求。
不僅可以減少服務器的數(shù)量,通過降低空間、散熱以及電力消耗等途徑,提供一種服務器整合的方法,節(jié)省成本投資;而且可以提高可用性,帶來具有透明負載均衡、動態(tài)遷移、故障自動隔離、系統(tǒng)自動重構的高可靠服務器應用環(huán)境。
隨著科學技術的迅猛發(fā)展,虛擬化技術日益成為關注的焦點,正在最大程度地改變企業(yè)IT基礎設施的部署及運營。而甘肅省級電網(wǎng)企業(yè)協(xié)同辦公系統(tǒng)即是打破原有本部、各地市公司兩級部署模式,采用大集中部署的電力業(yè)務應用系統(tǒng)。即在甘肅省電力公司本部實現(xiàn)所有系統(tǒng)的集中部署,各地市公司通過訪問部署在本部的系統(tǒng)完成日常辦公業(yè)務。
由于采用大集中部署服務器的技術架構,考慮到機房實際容量及節(jié)省硬件采購成本,將其中兩臺IBM p6 570小型機采用邏輯分區(qū)(LPAR)技術,就是將單臺服務器劃分成多個邏輯服務器,彼此運行獨立的應用程序。
邏輯分區(qū)不同于物理分區(qū)(Physical Partitioning PPAR),物理分區(qū)是將物理的將資源組合形成分區(qū),而邏輯分區(qū)則不需要考慮物理資源的界限。相對而言,邏輯分區(qū)具有更多的靈活性,可以在物理資源中自由的選擇部件,這需要有比較好的保證,即最大化的使用系統(tǒng)資源,但又最小化不必要的資源再分配。在邏輯分區(qū)的環(huán)境下,如CPU、內存和I/O都可以獨立的分配給每個分區(qū)。
二. 技術特點
一個邏輯分區(qū)包含處理器、內存和I/O插槽,在一個系統(tǒng)中這些都是一個可用資源的子集,如圖3-1所示。當有這些配置規(guī)則,資源的單位顆粒度能夠非常彈性的被分配給分區(qū)。它有可能只添加很少的需要的內存,而不依靠內存控制器的大小或者不需要必須添加那些不需要的更多處理器或I/O插槽。不同于物理分區(qū)的方面是資源被分組形成一個分區(qū)。
2.1 Hypervisor模式
邏輯分區(qū)(LPAR)技術并不是系統(tǒng)上某一單獨部件能完成的,它依賴于軟件、硬件和firmware的協(xié)同工作才能實現(xiàn)。
首先,CPU能支持更多的系統(tǒng)調用(稱作系統(tǒng)管理程序Hypervisor模式)。另外要求CPU實模式訪問內存地址時具有尋址偏移量的能力。同樣,I/O bridge也必須支持I/O卡的DMA地址到內存地址的偏移量,因為這些地址也是由Hypervisor映射的。
2.1.1實模式地址尋址
每個操作系統(tǒng)的映象需要用實地址尋址的方式訪問內存,不用虛地址的翻譯,并且起始地址從零開始,通常先是內核代碼、固定的內核結構、和中斷矢量。由于在分區(qū)模式下,多個操作系統(tǒng)不能共享同樣的物理零地址,所以每個分區(qū)必須有自己的實地址段。
當每個分區(qū)被啟動后,固件賦予分區(qū)唯一的實地址起始偏移量和范圍值,并且將偏移量和范圍值存入到分區(qū)內每個CPU的寄存器內。這些值映射出賦給此分區(qū)的物理地址。當分區(qū)程序以實地址方式訪問指令和數(shù)據(jù)時,硬件自動將每個地址增加實地址偏移量。在這種模式下,邏輯分區(qū)程序似乎還保持從零地址尋址,雖然實際處理時,此虛地址被自動映射成另外的物理地址。硬件邏輯電路阻止運行在此分區(qū)內的操作系統(tǒng)修改這些寄存器的值。任何企圖訪問實地址超出所分配的地址范圍時,會引起地址異常中斷。
2.1.2 虛模式地址尋址
當程序在虛地址方式下訪問指令和數(shù)據(jù)時,它并不關心地址是否被虛擬內存管理(VMM)使用頁面轉換表進行了轉換。頁面轉換表存放在系統(tǒng)內存中,每個分區(qū)都有自己唯一的頁面轉換表。處理器使用這些表透明地將程序的虛地址轉換成物理地址。
在邏輯分區(qū)模式下,頁面轉換表被存放在一個特殊的內存區(qū)域,只能被hypervisor所訪問。換句話說,頁面轉換表并不在此分區(qū)所屬的實地址范圍內。保存頁面轉換表地址的寄存器也被硬件邏輯所保護,不能被分區(qū)程序所修改,只能被hypervisor管理程序所修改。
當操作系統(tǒng)需要產(chǎn)生一個頁面轉化映射時,分區(qū)內處理器必須執(zhí)行一個hypervisor服務調用指令。由hypervisor程序代表分區(qū)產(chǎn)生頁面表入口,并為此頁增加從邏輯地址到物理地址的偏移量。分區(qū)程序可以調用hypervisor修改或刪除存在的頁表項。
2.1.3 LPAR和操作系統(tǒng)的關系
在邏輯分區(qū)環(huán)境下操作系統(tǒng)的特殊處理,主要的不同是虛擬內存管理功能,只有分配給分區(qū)的設備才能被操作系統(tǒng)所訪問,操作系統(tǒng)不能訪問到分區(qū)外的任何資源。一些可選的hypervisor服務,用來處理Debug信息,以及每個分區(qū)的虛擬TTY 處理。
在pSeries硬件平臺上,提供了一系列的結構化固件在線提取服務(RTAS)調用,在LPAR模式下,這些調用執(zhí)行附加的有效性檢查和資源虛有化處理。例如,盡管只有一個物理的閃存和物理時鐘芯片,RTAS可讓每個分區(qū)都感覺有自己的閃存和不同的時鐘。
2.2 Firmware和AIX之間的關系
除了Hypervisor之外,當系統(tǒng)重置后運行在Open Firmware一層(稱作Global)能夠訪問系統(tǒng)中所有的設備和數(shù)據(jù)。當系統(tǒng)劃分邏輯分區(qū)后,存在另一個Open Firmware,它運行在Global上面。每一個分區(qū)有自己的分區(qū)固件,它可以訪問屬于自己分區(qū)內的所有設備,但是不能訪問其它分區(qū)內的設備。
2.3 健壯的LPAR的管理
hypervisor服務程序強迫分區(qū)的邊界和維護分區(qū)內資源的一致性。分區(qū)的管理也體現(xiàn)了安全性特點,分區(qū)的管理是通過IBM 硬件管理控制臺(HMC)來實現(xiàn)的,HMC提供了方便友好的界面,執(zhí)行硬件操作,執(zhí)行本地和遠程用戶訪問。
HMC是連接于服務處理器的,HMC送命令到服務處理器,管理存放在閃存中的LPAR配置表。當分區(qū)啟動時,hypervisor服務引用這些配置表,確認哪些資源是存放在哪些分區(qū)內的。這些表對運行在分區(qū)的操作系統(tǒng)是不可見的,只有HMC和hypervisor服務才能更改它。
只有合法的用戶才能設置HMC,每個HMC用戶都有指定的操作范圍,可以本地訪問HMC,遠程登錄訪問,以及使用OpenSSH進行命令行操作。
邏輯分區(qū)的設置也是通過HMC (Hardware Management Console)來完成,各個邏輯分區(qū)上的系統(tǒng)只能操作本分區(qū)內的資源,就像是一個獨立的系統(tǒng)一樣。如果某一分區(qū)內的系統(tǒng)癱瘓,不會影響到其它分區(qū)內的系統(tǒng)運行。即使在某個分區(qū)內發(fā)生了不可自動修復的硬件故障,只能造成這一分區(qū)的系統(tǒng)停止,而不會影響到其它分區(qū)內的系統(tǒng)。
一. LPAR技術在省級電網(wǎng)企業(yè)協(xié)同辦公系統(tǒng)中的應用
3.1 省級電網(wǎng)企業(yè)協(xié)同辦公系統(tǒng)物理架構
省級電網(wǎng)企業(yè)協(xié)同辦公系統(tǒng)核心應用區(qū),主要部署流程服務器、OA公文服務器、知識管理服務器、檔案管理服務器、團隊服務器、數(shù)據(jù)庫服務器、報表服務器、消息服務器、搜索服務器、電子印章服務器、存儲設備等。
其中,HQ_OA_AP1,HQ_OA_AP2和HQ_OA_WF1,HQ_OA_WF2是通過LPAR技術由兩臺操作系統(tǒng)為AIX5.2的實體機,虛擬成四臺服務器。
3.2 LPAR(邏輯分區(qū))的劃分
下圖是兩臺物理主機,劃分為四個邏輯分區(qū)(ap1、wf1和ap2、wf2)的情況:
內存和CPU的劃分:
3.3 PCI插槽的劃分情況
3.3.1 P570A
P570A (12C\48GB\4X300GB 15K)
CEC1:00DQD71CB
CEC2:00DQD72AR
CEC3:00DQD71BT
3.3.2 P570B
P570B (12C\48GB\4X300GB 15K)
CEC1:00DQD71CA
CEC2:00DQD71BZ
CEC3:00DQD71BV
說明:光驅、磁帶機、USB卡(用于連接鍵盤鼠標)屬于分區(qū)的共有資源,兩個分區(qū)中先啟動的將擁有這些資源,這些資源不能被兩個分區(qū)同時擁有。
一. LPAR技術優(yōu)勢
4.1 提高服務器資源利用率
由于LPAR邏輯分區(qū)技術的優(yōu)勢,可以提高服務器資源利用率,同時確保應用始終能夠獲得所需的資源。邏輯分區(qū)技術允許通過調整系統(tǒng)來合并多個獨立的工作負載,減少數(shù)據(jù)中心的資源占用,減少服務器的數(shù)量,提供一種服務器整合的方法。邏輯分區(qū)允許客戶在同一個服務器上的不同分區(qū)中運行不同的工作負載, 從而降低成本。并且簡化服務器的部署、管理和維護工作,降低管理費用。
4.2 提高數(shù)據(jù)安全性
因為邏輯分區(qū)是完全彼此獨立的,所以運行于不同分區(qū)的應用程序和工作負載不會彼此互相干擾。每一個分區(qū)的資源(CPU 、內存塊和適配卡)僅僅歸屬于分區(qū)本身,如果一個分區(qū)的應用程序消耗了所有分配的資源,仍然不會影響到運行于其他分區(qū)的應用,因為分區(qū)的資源是獨立的。這樣的LPAR邏輯分區(qū)技術采取彼此隔離的設計,在一個硬件服務器上進行多個分區(qū)設置,運行多個獨立的操作系統(tǒng),用于跨越分區(qū)邊界來保護安全性和保密策略,以提供高級別的數(shù)據(jù)安全性并提高應用的可用性。
4.3 靈活的工作量策略
對某些特定的工作負載或者應用可能會改變對資源的要求,然而對邏輯分區(qū),只是簡單再申請需要的硬件資源到需要改變資源的分區(qū)而已。同非邏輯分區(qū)的服務器相比,并不需要硬件資源的升級來匹配這種資源的改變。
二. 總結
省級電網(wǎng)企業(yè)協(xié)同辦公系統(tǒng)的服務器物理架構中采用了LPAR邏輯分區(qū)的虛擬化技術,通過將服務器資源分配到多個虛擬機,虛擬化支持不同的應用。每個虛擬機就像一臺獨立的服務器,但實際上在同一物理服務器內運行。在一臺服務器上運行多個應用能夠提高服務器效率,并減少需要管理和維護的服務器數(shù)量。當應用需求增加時,可以迅速創(chuàng)建更多虛擬機,從而無需增加物理服務器即可靈活地響應不斷變化的需求。
不僅可以減少服務器的數(shù)量,通過降低空間、散熱以及電力消耗等途徑,提供一種服務器整合的方法,節(jié)省成本投資;而且可以提高可用性,帶來具有透明負載均衡、動態(tài)遷移、故障自動隔離、系統(tǒng)自動重構的高可靠服務器應用環(huán)境。
責任編輯:和碩涵
免責聲明:本文僅代表作者個人觀點,與本站無關。其原創(chuàng)性以及文中陳述文字和內容未經(jīng)本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
我要收藏
個贊
-
現(xiàn)貨模式下谷電用戶價值再評估
2020-10-10電力現(xiàn)貨市場,電力交易,電力用戶 -
PPT | 高校綜合能源服務有哪些解決方案?
2020-10-09綜合能源服務,清潔供熱,多能互補 -
深度文章 | “十三五”以來電力消費增長原因分析及中長期展望
2020-09-27電力需求,用電量,全社會用電量
-
PPT | 高校綜合能源服務有哪些解決方案?
2020-10-09綜合能源服務,清潔供熱,多能互補 -
深度文章 | “十三五”以來電力消費增長原因分析及中長期展望
2020-09-27電力需求,用電量,全社會用電量 -
我國電力改革涉及的電價問題
-
電化學儲能應用現(xiàn)狀及對策研究
2019-08-14電化學儲能應用 -
《能源監(jiān)測與評價》——能源系統(tǒng)工程之預測和規(guī)劃
-
《能源監(jiān)測與評價》——能源系統(tǒng)工程之基本方法
-
貴州職稱論文發(fā)表選擇泛亞,論文發(fā)表有保障
2019-02-20貴州職稱論文發(fā)表 -
《電力設備管理》雜志首屆全國電力工業(yè) 特約專家征文
2019-01-05電力設備管理雜志 -
國內首座蜂窩型集束煤倉管理創(chuàng)新與實踐
-
人力資源和社會保障部:電線電纜制造工國家職業(yè)技能標準
-
人力資源和社會保障部:變壓器互感器制造工國家職業(yè)技能標準
-
《低壓微電網(wǎng)并網(wǎng)一體化裝置技術規(guī)范》T/CEC 150
2019-01-02低壓微電網(wǎng)技術規(guī)范
-
現(xiàn)貨模式下谷電用戶價值再評估
2020-10-10電力現(xiàn)貨市場,電力交易,電力用戶 -
建議收藏 | 中國電價全景圖
2020-09-16電價,全景圖,電力 -
一張圖讀懂我國銷售電價附加
2020-03-05銷售電價附加
-
電氣工程學科排行榜發(fā)布!華北電力大學排名第二
-
國家電網(wǎng)61家單位招聘畢業(yè)生
2019-03-12國家電網(wǎng)招聘畢業(yè)生 -
《電力設備管理》雜志讀者俱樂部會員招募
2018-10-16電力設備管理雜志