小康巡診日記-網(wǎng)絡(luò)經(jīng)脈篇之故事(2)

2019-11-04 20:37:20

字體：大中小

供稿：網(wǎng)友

　　
　　[癥狀]今天的病人是一家聞名的證券公司。上午9:45，用戶來(lái)電請(qǐng)求緊急救援，說(shuō)大戶室中的一群聲稱遭受巨額無(wú)故損失的憤怒的股民們正聚集在營(yíng)業(yè)部計(jì)算中心的機(jī)房門前，質(zhì)問(wèn)為什么實(shí)時(shí)交易的動(dòng)態(tài)信息顯示屏幕出現(xiàn)大片空白，數(shù)據(jù)刷新和交易的速度都極慢，且經(jīng)常中斷，根本無(wú)法進(jìn)行交易。揚(yáng)言假如不立即恢復(fù)交易，將砸掉證券交易所的計(jì)算機(jī)。交易大廳的散戶門也開始向機(jī)房云集，假如不及時(shí)處理，情緒激動(dòng)的股民們很可能真的會(huì)將營(yíng)業(yè)部計(jì)算中心的網(wǎng)絡(luò)設(shè)備砸個(gè)希巴爛。放下電話豎立即直奔該營(yíng)業(yè)部，途中繼續(xù)用移動(dòng)電話了解得知，該網(wǎng)絡(luò)為10M以太網(wǎng)，用戶數(shù)為230個(gè)。從衛(wèi)星接收廣播的行情數(shù)據(jù)，并回傳交易信息。由于從衛(wèi)星接收機(jī)監(jiān)測(cè)口觀察接收數(shù)據(jù)完全正常，故網(wǎng)管人員初步判定是網(wǎng)絡(luò)系統(tǒng)的問(wèn)題。兩個(gè)月前就開始有傳輸數(shù)據(jù)錯(cuò)誤的現(xiàn)象出現(xiàn)，有時(shí)數(shù)據(jù)更新出現(xiàn)空白，數(shù)據(jù)更新速度偶然變慢，有時(shí)出現(xiàn)斷續(xù)。雖用網(wǎng)管和協(xié)議分析儀檢查過(guò)，但因這種“癥狀”并不連續(xù)出現(xiàn)，且對(duì)網(wǎng)絡(luò)的速度和股民的交易基本沒(méi)有影響，故一直心存僥幸，沒(méi)有徹底查找真正的故障根源。前天參加“第二輪證券系統(tǒng)Y2K統(tǒng)一認(rèn)證測(cè)試”，順利通過(guò)。利用剩余時(shí)間對(duì)硬件設(shè)備進(jìn)行了檢測(cè)和維護(hù)，之后進(jìn)行聯(lián)網(wǎng)檢查，網(wǎng)絡(luò)表現(xiàn)正常。不料今天開市就出現(xiàn)嚴(yán)重問(wèn)題。
　　[診斷過(guò)程]用F683網(wǎng)絡(luò)測(cè)試儀監(jiān)測(cè)網(wǎng)絡(luò)30秒，觀察網(wǎng)絡(luò)流量為81％(但網(wǎng)管報(bào)告為0.2%)，錯(cuò)誤幀97.6%。錯(cuò)誤類型為Ghosts(占93％)、FCS錯(cuò)誤(又稱CRC錯(cuò)誤)和Jabber，即幻象干擾、幀校驗(yàn)錯(cuò)誤和超長(zhǎng)幀，這表明網(wǎng)絡(luò)中有大量的非法數(shù)據(jù)包存在。此類癥狀一般以電磁干擾和接地回路方面的問(wèn)題居多。為了確定干擾源的準(zhǔn)確位置，將大部分與工作站相連的集線器組電源關(guān)斷，服務(wù)器繼續(xù)工作，觀察錯(cuò)誤率降為87％，仍然很高。重新打開集線器組電源，用F43電源諧波測(cè)試儀觀察，發(fā)現(xiàn)諧波含量嚴(yán)重超標(biāo)(最高970mV)。該網(wǎng)絡(luò)用一臺(tái)大型UPS電源給所有網(wǎng)絡(luò)設(shè)備供電，測(cè)試UPS輸入電源諧波，約為輸出電源諧波含量的30％，明顯低于輸出端的指標(biāo)，斷定為內(nèi)諧波含量超標(biāo)。啟動(dòng)小型備用UPS后，網(wǎng)絡(luò)恢復(fù)正常工作(為減少負(fù)荷，網(wǎng)絡(luò)設(shè)備分批輪換接入)，但網(wǎng)絡(luò)測(cè)試儀顯示仍有錯(cuò)誤存在，錯(cuò)誤率(幻象干擾)下降為1.3％。再次關(guān)斷集線器組的電源，類型為Ghosts的幻象干擾錯(cuò)誤率下降為0.8％，證實(shí)仍存在由接地回路串入的幻象干擾，且應(yīng)該是從主通道進(jìn)入。搖動(dòng)衛(wèi)星接收機(jī)的數(shù)據(jù)輸出電纜，幻象干擾時(shí)有時(shí)無(wú)，拔下電纜則干擾消失。網(wǎng)管人員回憶前日維護(hù)機(jī)器時(shí)曾動(dòng)過(guò)該電纜。由此造成連接不良。為使股民能繼續(xù)交易，穩(wěn)定情緒，在更換電纜后又將原UPS啟動(dòng)繼續(xù)工作提供服務(wù)。收市后再更換大型UPS，故障徹底排除。
　　[診斷點(diǎn)評(píng)]故障原因有二，一是UPS對(duì)電源的凈化能力下降，網(wǎng)絡(luò)外諧波輕易從電源系統(tǒng)串入網(wǎng)絡(luò)系統(tǒng)，為重大故障的發(fā)生提供了基礎(chǔ)，但只是累積的內(nèi)諧波超標(biāo)還不足以引發(fā)致命問(wèn)題。二是接地回路問(wèn)題，給大量的內(nèi)諧波串入網(wǎng)絡(luò)提供了通道。內(nèi)諧波是指從電源凈化設(shè)備的輸出端比如UPS的輸出端測(cè)得的諧波功率，由各種用電設(shè)備產(chǎn)生(網(wǎng)絡(luò)設(shè)備絕大多數(shù)都采用開關(guān)電源，本身就是一個(gè)較大的諧波源)。本案中，大量的內(nèi)諧波功率疊加后從衛(wèi)星接收機(jī)數(shù)據(jù)輸出電纜串入交易網(wǎng)絡(luò)，一方面以幻象干擾的形式侵蝕網(wǎng)絡(luò)帶寬(此時(shí)網(wǎng)絡(luò)測(cè)試儀監(jiān)測(cè)到的錯(cuò)誤類型即為Ghosts)，當(dāng)以太網(wǎng)的網(wǎng)絡(luò)總流量高于80％時(shí)，會(huì)導(dǎo)致絕大多數(shù)的網(wǎng)絡(luò)癱瘓；另一方面，串入的內(nèi)諧波將干擾正常數(shù)據(jù)傳輸(與正常的衛(wèi)星廣播數(shù)據(jù)疊加，表現(xiàn)為FCS幀錯(cuò)誤和少量長(zhǎng)幀)，使衛(wèi)星接收機(jī)接收到的數(shù)據(jù)出錯(cuò)，顯示屏出現(xiàn)大片空白或不能實(shí)時(shí)更新數(shù)據(jù)。本故障為累積故障，兩個(gè)月前因UPS性能下降就開始出現(xiàn)少量干擾超標(biāo)，不過(guò)這沒(méi)有引起網(wǎng)管人員的足夠重視。前天維護(hù)設(shè)備后又增加了電纜接地回路的干擾問(wèn)題。但因當(dāng)時(shí)未將衛(wèi)星接收機(jī)連入網(wǎng)絡(luò)，網(wǎng)管人員僅檢查了網(wǎng)絡(luò)部分的工作狀況，所以此時(shí)的網(wǎng)絡(luò)表現(xiàn)肯定是正常的。直到今天臨近股市開市，當(dāng)接通衛(wèi)星廣播數(shù)據(jù)的輸入通道時(shí)，問(wèn)題才爆發(fā)出來(lái)。此時(shí)內(nèi)諧波干擾信號(hào)大舉入侵網(wǎng)絡(luò)，幾乎造成網(wǎng)絡(luò)癱瘓。
　　關(guān)斷集線器組電源，內(nèi)諧波總功率下降，干擾信號(hào)強(qiáng)度減弱，錯(cuò)誤率自然有所下降。更換UPS電源后，錯(cuò)誤率大幅下降(理論上應(yīng)降為零)。但因接地回路問(wèn)題使50Hz電源及其高次諧波感應(yīng)信號(hào)仍能進(jìn)入網(wǎng)絡(luò)形成較小數(shù)量的錯(cuò)誤幀。需要注重的一點(diǎn)是，一般人在更換UPS后看到網(wǎng)絡(luò)恢復(fù)正常工作即認(rèn)為故障已經(jīng)排除，因此很輕易忽視儀器監(jiān)測(cè)指示仍存在的少量錯(cuò)誤(1.3％)，這可能使“接地回路問(wèn)題”這一重大故障隱患得以長(zhǎng)期存在下去。
　　此故障的診斷網(wǎng)管系統(tǒng)基本上無(wú)能為力。
　　[建議]電源諧波功率含量和網(wǎng)絡(luò)錯(cuò)誤率要定期測(cè)試，當(dāng)發(fā)現(xiàn)錯(cuò)誤幀時(shí)一定不要掉以輕心。另外，一路電源能帶動(dòng)的工作站建議不要超過(guò)30臺(tái)，否則應(yīng)象劃分網(wǎng)段那樣重新劃定供電區(qū)域。以免內(nèi)諧波功率累積過(guò)大，超過(guò)設(shè)備的容許范圍。假如您的網(wǎng)絡(luò)可靠性要求很高，或者您的網(wǎng)絡(luò)對(duì)您來(lái)說(shuō)非常重要，那么建議您將主要的網(wǎng)絡(luò)設(shè)備如服務(wù)器、路由器等，在網(wǎng)絡(luò)規(guī)劃設(shè)計(jì)時(shí)就選擇由單獨(dú)的UPS供電。

上一篇：小康巡診日記-網(wǎng)絡(luò)經(jīng)脈篇之故事(3)

下一篇：小康巡診日記-網(wǎng)絡(luò)經(jīng)脈篇之故事(6)