1事件經(jīng)過

某日某廠#5燃機停運。4時30分T3000系統(tǒng)OM界面出現(xiàn)“errorsubscribing plant display connection timed out :connect”報警，公用系統(tǒng)畫面出現(xiàn)“U”報警，ASD無異常報警,同時#5機組公用系統(tǒng)及#5機組部分界面無法操作。

4時50分#5機組公用系統(tǒng)所有界面以及總覽目錄中公用系統(tǒng)設(shè)備目錄消失，現(xiàn)場檢查發(fā)現(xiàn)公用系統(tǒng)上層網(wǎng)SCALANCE網(wǎng)絡(luò)交換機T01、T02均存在故障報警。5時50分熱工人員將T01網(wǎng)絡(luò)交換機進行斷電重啟，T01重啟結(jié)束后T01、T02故障報警信號消失，公用系統(tǒng)設(shè)備在界面中恢復(fù)正常。

圖1 網(wǎng)絡(luò)交換機狀態(tài)顯示

圖2 #5機組公用系統(tǒng)上層網(wǎng)網(wǎng)絡(luò)結(jié)構(gòu)

2原因調(diào)查

2.1 設(shè)備檢查

(1)公用網(wǎng)絡(luò)交換機T01重啟后，T01、T02無故障報警信號，F(xiàn)燈未亮。

(2)檢查公用系統(tǒng)網(wǎng)絡(luò)交換機T01發(fā)現(xiàn)當光纖數(shù)據(jù)端口P13處于通信狀態(tài)，P14處于備用狀態(tài)時，P14燈標狀態(tài)閃爍異常，存在故障。

(3)檢查公用系統(tǒng)網(wǎng)絡(luò)交換機T01、T02之間的連接光纖通信無異常。

(4)檢查T01、T02之間的連接通信光纖發(fā)現(xiàn)光纖存在彎折痕跡。

使用測試光纖工具測試光纖性能，從測試結(jié)果可以判斷彎折后的光纖通信能力有較大幅度下降，但還是在允許范圍內(nèi)。

圖3(正常光纖測試)

圖4(彎折光纖測試)

(5)檢查赫斯曼路由器MARCH 4000，無異常。

(6)停#5機組公用系統(tǒng)網(wǎng)絡(luò)交換機T01電源，網(wǎng)絡(luò)通信正常。

(7)恢復(fù)#5機組公用系統(tǒng)T01電源，停T02電源，網(wǎng)絡(luò)通信正常。

(8)保持#5機組公用系統(tǒng)T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，設(shè)置公用系統(tǒng)服務(wù)器CoServer01為主控，#5機組公用系統(tǒng)及機組部分界面無法操作的情況出現(xiàn)。

(9)保持#5機組公用系統(tǒng)T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，設(shè)置公用系統(tǒng)服務(wù)器CoServer02為主控，網(wǎng)絡(luò)通信正常。

(10)保持#5機組公用系統(tǒng)T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，拔除T01上連接赫斯曼路由器的通信網(wǎng)線，網(wǎng)絡(luò)通信正常。

(11)保持#5機組公用系統(tǒng)T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，恢復(fù)T01上連接赫斯曼路由器的通信網(wǎng)線，拔除T02上連接赫斯曼路由器的通信網(wǎng)線，網(wǎng)絡(luò)通信正常。

2.1日志檢查

(1)檢查#5機組公用系統(tǒng)網(wǎng)絡(luò)交換機T01、T02日志，發(fā)現(xiàn)出現(xiàn)網(wǎng)絡(luò)通信故障的時候，T01和T02之間的兩路通信均中斷。

(2)檢查#5機組公用系統(tǒng)網(wǎng)絡(luò)交換機T01、T02日志，發(fā)現(xiàn)出現(xiàn)網(wǎng)絡(luò)通信故障的時候，用于T01和T02之間通信的光纖數(shù)據(jù)端口P13已被禁用，報警信息“Link Check:Broken link on port 13 indicated by 100% packet loss.Portdisabled”。

(3)檢查#5機組公用系統(tǒng)網(wǎng)絡(luò)交換機T01、T02日志，發(fā)現(xiàn)出現(xiàn)網(wǎng)絡(luò)通信故障的時候，用于T01和T02之間通信的光纖數(shù)據(jù)端口P14已被禁用，報警信息“Link Check:Broken link on port 14 indicated by 100% packet loss.Portdisabled”。

3原因分析

由于#5機組公用系統(tǒng)T01存在故障，導(dǎo)致T01和T02之間通信的光纖數(shù)據(jù)端口P13、P14的丟包率較高，最終由于高丟包率導(dǎo)致P13、P14端口均被屏蔽，T01和T02之間通信中斷。

T01、T02之間的連接通信光纖發(fā)現(xiàn)光纖有彎折痕跡，通信能力下降存在安全隱患。

根據(jù)測試結(jié)果，當赫斯曼路由器選擇T02作為主控通信路徑時，如果發(fā)生環(huán)網(wǎng)全部中斷，那么只有與T02連接的CoServer02服務(wù)器處在主控模式時才能保證通信正常。如果路由器選擇T01作為主控通信路徑時，發(fā)生環(huán)網(wǎng)全部中斷，那么只有與T01連接的CoServer01服務(wù)器處在主控模式時才能保證通信正常。發(fā)生#5機組公用系統(tǒng)通信故障期間，路由器選擇T02作為主控通信路徑，但當時CoServer01服務(wù)器處在主控模式，因此路由器無法讀取到公用系統(tǒng)服務(wù)器的數(shù)據(jù)，導(dǎo)致畫面壞點。

操作員站通過網(wǎng)絡(luò)同時讀取單元機組和公用系統(tǒng)的操作界面數(shù)據(jù)，當無法讀取到公用系統(tǒng)的數(shù)據(jù)時候，會耗費較多的網(wǎng)絡(luò)資源用于讀取公用系統(tǒng)的數(shù)據(jù)，導(dǎo)致操作員站的操作界面響應(yīng)變慢。

4防范措施

(1)更換#5機組公用系統(tǒng)T01網(wǎng)絡(luò)交換機;

(2)更換#5機組公用系統(tǒng)T01、T02之間的連接通信光纖;

(3)#5機組公用系統(tǒng)上層網(wǎng)絡(luò)目前是T02作為主控通信路徑，已經(jīng)將CoServer02作為主控服務(wù)器;

(4)為確保單元機組的系統(tǒng)畫面不受影響，需要確保機組DCS的容錯服務(wù)器主控服務(wù)器也處在主控通信路徑，目前#5機組單元機組系統(tǒng)上層網(wǎng)絡(luò)是T01作為主控通信路徑，已經(jīng)將容錯服務(wù)器A側(cè)作為主控服務(wù)器。

附：#5機組公用系統(tǒng)上層網(wǎng)絡(luò)故障應(yīng)急預(yù)案

一、 #5機組公用系統(tǒng)上層網(wǎng)絡(luò)出現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)中斷故障的應(yīng)急處置步驟

1)通過公用系統(tǒng)服務(wù)器檢查公用系統(tǒng)上層網(wǎng)T01、T02網(wǎng)絡(luò)交換機的事件日志內(nèi)容。

2)通過公用系統(tǒng)服務(wù)器檢查CoServer01、CoServer02是否正常。

3)檢查Coserver服務(wù)器的網(wǎng)線是否緊固。

4)停#5公用系統(tǒng)T3000上層網(wǎng)交換機T01電源。

5)第四步?jīng)]有效果的情況下恢復(fù)#5公用系統(tǒng)T3000上層網(wǎng)交換機T01電源，停T02電源。

6)第五步?jīng)]有效果的情況下將CoServer01上層網(wǎng)絡(luò)接入T02，將CoServer02上層網(wǎng)絡(luò)接入T01，給T02送電，然后重復(fù)第四步和第五步內(nèi)容。

7) 第六步?jīng)]有效果的情況下，恢復(fù)CoServer服務(wù)器上層網(wǎng)絡(luò)接入位置，停T01電源，更換T02網(wǎng)絡(luò)交換機。

二、#5機組單元機組上層網(wǎng)絡(luò)出現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)中斷故障的應(yīng)急處置步驟

1)通過單元機組服務(wù)器檢查單元機組上層網(wǎng)T01、T02網(wǎng)絡(luò)交換機的事件日志內(nèi)容。

2)通過單元機組服務(wù)器檢查冗錯服務(wù)器A、冗錯服務(wù)器B是否正常。

3)檢查冗錯服務(wù)器的網(wǎng)線是否緊固。

4)停#5單元機組T3000上層網(wǎng)交換機T02電源。

5)第四步?jīng)]有效果的情況下恢復(fù)#5單元機組T3000上層網(wǎng)交換機T02電源，停T01電源。

6)第五步?jīng)]有效果的情況下將冗錯服務(wù)器A側(cè)上層網(wǎng)絡(luò)接入T02，將冗錯服務(wù)器B側(cè)上層網(wǎng)絡(luò)接入T01，給T01送點，然后重復(fù)第四步和第五步內(nèi)容

7)第六步?jīng)]有效果的情況下，恢復(fù)冗錯服務(wù)器上層網(wǎng)絡(luò)接入位置，停T02電源，更換T01網(wǎng)絡(luò)交換機。