網(wǎng)絡(luò)故障日記（上）

2019-11-04 20:55:52

字體：大中小

供稿：網(wǎng)友

　　(小康巡診日記)
　　
　　[引言]網(wǎng)絡(luò)正以空前的速度走進(jìn)我們每個(gè)人的生活。網(wǎng)絡(luò)的規(guī)模越來(lái)越大，結(jié)構(gòu)越來(lái)越復(fù)雜，新的設(shè)備越來(lái)越多。一個(gè)正常工作的網(wǎng)絡(luò)給人們帶來(lái)方便和快捷是不言而喻的，但一個(gè)帶病工作的網(wǎng)絡(luò)也經(jīng)常給人帶來(lái)無(wú)窮的煩惱甚至是巨大的損失。網(wǎng)絡(luò)世界中最忙亂、心里最感底氣不足的人恐怕要數(shù)網(wǎng)絡(luò)治理人員和運(yùn)行維護(hù)人員了。他們時(shí)時(shí)刻刻都在為他們的網(wǎng)絡(luò)擔(dān)心，病毒、黑客、速度變慢、網(wǎng)絡(luò)崩潰....
　　
　　[小康檔案]：三年前負(fù)責(zé)治理Coneill公司，一家快速成長(zhǎng)的公司的網(wǎng)絡(luò)，曾自認(rèn)為是NT和Novell、Unix等平臺(tái)以及Oracle方面的專家，擅長(zhǎng)協(xié)議分析和網(wǎng)管軟件的使用，天天忙于安裝設(shè)置不斷加入網(wǎng)絡(luò)的設(shè)備和系統(tǒng)，應(yīng)付不斷增加的各種意外事件、報(bào)警和陷井，處理網(wǎng)絡(luò)設(shè)備經(jīng)常性的增加、刪除、更改和系統(tǒng)設(shè)置、連接等方面的故障和問題。至于如何提高網(wǎng)絡(luò)的運(yùn)行效率、如何合理調(diào)整網(wǎng)絡(luò)流量并配置網(wǎng)絡(luò)設(shè)備、如何防止網(wǎng)絡(luò)問題的發(fā)生、如何采用寬帶網(wǎng)絡(luò)設(shè)備組網(wǎng)及應(yīng)用等則基本上無(wú)暇顧及。一年前，小康從網(wǎng)絡(luò)健康學(xué)院畢業(yè)后到網(wǎng)絡(luò)醫(yī)院就職，負(fù)責(zé)網(wǎng)絡(luò)的體檢(測(cè)試)和故障診斷，專門為哪些網(wǎng)絡(luò)發(fā)生嚴(yán)重問題的“病人”提供幫助。現(xiàn)在他已經(jīng)是一位經(jīng)驗(yàn)豐富的網(wǎng)絡(luò)健康維護(hù)的醫(yī)生，巡診故事多多。
　　
　　第一部：網(wǎng)絡(luò)經(jīng)脈篇
　　
　　[故事之一]三類線仿冒5類線，加上網(wǎng)卡出錯(cuò)，升級(jí)后比升級(jí)前速度反而慢
　　
　　[癥狀]今天是我第一次巡診，病人抱怨他的大多數(shù)站點(diǎn)上網(wǎng)連接速度比系統(tǒng)升級(jí)前還慢，有的站點(diǎn)時(shí)斷時(shí)續(xù)，有的則根本不能上網(wǎng)。原來(lái)用的是10M以太網(wǎng)，工作非常穩(wěn)定，性能優(yōu)良。升級(jí)后全部更換為100M系統(tǒng)，出現(xiàn)上述癥狀。用戶總數(shù)未有增加，也沒有啟用大型軟件或多媒體應(yīng)用軟件。重裝系統(tǒng)軟件、應(yīng)用軟件，重新設(shè)置服務(wù)器和網(wǎng)站，查殺病毒，Reset所有聯(lián)網(wǎng)設(shè)備均不奏效。其中，有兩臺(tái)機(jī)器換到另一地點(diǎn)后能基本正常工作。用筆記本連接到這兩個(gè)不正常鏈路的集線器端口上網(wǎng)，也能正常工作。更換這兩根網(wǎng)線后現(xiàn)象依舊。將機(jī)器還原到原位置，更換網(wǎng)卡(原卡商標(biāo)為3COM卡)后恢復(fù)正常，不知何故。由于以太網(wǎng)大多數(shù)用戶不能工作，只好暫時(shí)退回到10M以太網(wǎng)系統(tǒng)。
　　
　　[診斷過程]從10M系統(tǒng)的網(wǎng)管上觀察，網(wǎng)絡(luò)的平均流量為3%，低于40％，由于未運(yùn)行大型軟件和多媒體軟件，應(yīng)該不會(huì)感到任何速度上的“折扣”。將FLUKE的F683網(wǎng)絡(luò)測(cè)試儀接入Hub端口，測(cè)試網(wǎng)絡(luò)流量為35％。碰撞率為23％，遠(yuǎn)遠(yuǎn)高于5％的健康標(biāo)準(zhǔn)。報(bào)告的錯(cuò)誤類型有：延遲碰撞、FCS幀錯(cuò)誤、少量本地錯(cuò)誤。基本可以斷定是布線系統(tǒng)的嚴(yán)重問題。遂對(duì)線纜進(jìn)行測(cè)試，結(jié)果顯示除了測(cè)試點(diǎn)的兩根電纜線外，其余所有布線鏈路的衰減和近端串?dāng)_均不合格，用3類標(biāo)準(zhǔn)測(cè)試這些電纜則顯示全部合格。查看線纜外包裝上印有LUCent Cat5的字樣，可以斷定是仿冒產(chǎn)品。測(cè)試兩臺(tái)工作站的鏈路長(zhǎng)度分別為78米和86米，測(cè)試其網(wǎng)卡端口，顯示網(wǎng)卡發(fā)射能力(信號(hào)幅度)不足，并且儀器上沒有內(nèi)置的3COM廠商標(biāo)記顯示。
　　
　　　
　　
　　[診斷點(diǎn)評(píng)]用3類線外覆5類線產(chǎn)品標(biāo)記在假冒偽劣產(chǎn)品中為數(shù)不少。用戶在10M以太網(wǎng)環(huán)境中不會(huì)出現(xiàn)應(yīng)用上的問題，一旦升級(jí)到100M環(huán)境在只有少數(shù)短鏈路能勉強(qiáng)使用。對(duì)于兩臺(tái)更換地點(diǎn)后能正常工作的網(wǎng)站，查明鏈路長(zhǎng)度只有3米，且為標(biāo)準(zhǔn)的5類線(平時(shí)此站點(diǎn)用于臨時(shí)測(cè)試)。原地點(diǎn)測(cè)試長(zhǎng)度為45米和37米，由于網(wǎng)卡發(fā)射能力弱，信號(hào)在100M系統(tǒng)衰減大，造成上網(wǎng)困難。改在3米鏈路連接時(shí)，衰減的影響小，故可以正常上網(wǎng)。網(wǎng)卡測(cè)試顯示為仿冒卡。
　　
　　　
　　
　　[后記]一個(gè)月后，“病人”打電話告述我，重新布線后網(wǎng)絡(luò)工作完全正常，即使跑一些多媒體軟件也絲毫沒有停頓的感覺。不好的消息是，原來(lái)的系統(tǒng)集成商已不知去向，無(wú)法索賠了。
　　　
　　
　　[故事之二]UPS電源濾波質(zhì)量下降，接地通路故障，諧波大量涌入系統(tǒng)，導(dǎo)致網(wǎng)絡(luò)變慢、數(shù)據(jù)出錯(cuò)
　　
　　[癥狀]今天的病人是一家聞名的證券公司。上午9:45，用戶來(lái)電請(qǐng)求緊急救援，說(shuō)大戶室中的一群聲稱遭受巨額無(wú)故損失的憤怒的股民們正聚集在營(yíng)業(yè)部計(jì)算中心的機(jī)房門前，質(zhì)問為什么實(shí)時(shí)交易的動(dòng)態(tài)信息顯示屏幕出現(xiàn)大片空白，數(shù)據(jù)刷新和交易的速度都極慢，且經(jīng)常中斷，根本無(wú)法進(jìn)行交易。揚(yáng)言假如不立即恢復(fù)交易，將砸掉證券交易所的計(jì)算機(jī)。交易大廳的散戶門也開始向機(jī)房云集，假如不及時(shí)處理，情緒激動(dòng)的股民們很可能真的會(huì)將營(yíng)業(yè)部計(jì)算中心的網(wǎng)絡(luò)設(shè)備砸個(gè)希巴爛。放下電話豎立即直奔該營(yíng)業(yè)部，途中繼續(xù)用移動(dòng)電話了解得知，該網(wǎng)絡(luò)為10M以太網(wǎng)，用戶數(shù)為230個(gè)。從衛(wèi)星接收廣播的行情數(shù)據(jù)，并回傳交易信息。由于從衛(wèi)星接收機(jī)監(jiān)測(cè)口觀察接收數(shù)據(jù)完全正常，故網(wǎng)管人員初步判定是網(wǎng)絡(luò)系統(tǒng)的問題。兩個(gè)月前就開始有傳輸數(shù)據(jù)錯(cuò)誤的現(xiàn)象出現(xiàn)，有時(shí)數(shù)據(jù)更新出現(xiàn)空白，數(shù)據(jù)更新速度偶然變慢，有時(shí)出現(xiàn)斷續(xù)。雖用網(wǎng)管和協(xié)議分析儀檢查過，但因這種“癥狀”并不連續(xù)出現(xiàn)，且對(duì)網(wǎng)絡(luò)的速度和股民的交易基本沒有影響，故一直心存僥幸，沒有徹底查找真正的故障根源。前天參加“第二輪證券系統(tǒng)Y2K統(tǒng)一認(rèn)證測(cè)試”，順利通過。利用剩余時(shí)間對(duì)硬件設(shè)備進(jìn)行了檢測(cè)和維護(hù)，之后進(jìn)行聯(lián)網(wǎng)檢查，網(wǎng)絡(luò)表現(xiàn)正常。不料今天開市就出現(xiàn)嚴(yán)重問題。
　　
　　　
　　
　　[診斷過程]用F683網(wǎng)絡(luò)測(cè)試儀監(jiān)測(cè)網(wǎng)絡(luò)30秒，觀察網(wǎng)絡(luò)流量為81％(但網(wǎng)管報(bào)告為0.2%)，錯(cuò)誤幀97.6%。錯(cuò)誤類型為Ghosts(占93％)、FCS錯(cuò)誤(又稱CRC錯(cuò)誤)和Jabber，即幻象干擾、幀校驗(yàn)錯(cuò)誤和超長(zhǎng)幀，這表明網(wǎng)絡(luò)中有大量的非法數(shù)據(jù)包存在。此類癥狀一般以電磁干擾和接地回路方面的問題居多。為了確定干擾源的準(zhǔn)確位置，將大部分與工作站相連的集線器組電源關(guān)斷，服務(wù)器繼續(xù)工作，觀察錯(cuò)誤率降為87％，仍然很高。重新打開集線器組電源，用F43電源諧波測(cè)試儀觀察，發(fā)現(xiàn)諧波含量嚴(yán)重超標(biāo)(最高970mV)。該網(wǎng)絡(luò)用一臺(tái)大型UPS電源給所有網(wǎng)絡(luò)設(shè)備供電，測(cè)試UPS輸入電源諧波，約為輸出電源諧波含量的30％，明顯低于輸出端的指標(biāo)，斷定為內(nèi)諧波含量超標(biāo)。啟動(dòng)小型備用UPS后，網(wǎng)絡(luò)恢復(fù)正常工作(為減少負(fù)荷，網(wǎng)絡(luò)設(shè)備分批輪換接入)，但網(wǎng)絡(luò)測(cè)試儀顯示仍有錯(cuò)誤存在，錯(cuò)誤率(幻象干擾)下降為1.3％。再次關(guān)斷集線器組的電源，類型為Ghosts的幻象干擾錯(cuò)誤率下降為0.8％，證實(shí)仍存在由接地回路串入的幻象干擾，且應(yīng)該是從主通道進(jìn)入。搖動(dòng)衛(wèi)星接收機(jī)的數(shù)據(jù)輸出電纜，幻象干擾時(shí)有時(shí)無(wú)，拔下電纜則干擾消失。網(wǎng)管人員回憶前日維護(hù)機(jī)器時(shí)曾動(dòng)過該電纜。由此造成連接不良。為使股民能繼續(xù)交易，穩(wěn)定情緒，在更換電纜后又將原UPS啟動(dòng)繼續(xù)工作提供服務(wù)。收市后再更換大型UPS，故障徹底排除。
　　
　　　
　　[診斷點(diǎn)評(píng)]故障原因有二，一是UPS對(duì)電源的凈化能力下降，網(wǎng)絡(luò)外諧波輕易從電源系統(tǒng)串入網(wǎng)絡(luò)系統(tǒng)，為重大故障的發(fā)生提供了基礎(chǔ)，但只是累積的內(nèi)諧波超標(biāo)還不足以引發(fā)致命問題。二是接地回路問題，給大量的內(nèi)諧波串入網(wǎng)絡(luò)提供了通道。內(nèi)諧波是指從電源凈化設(shè)備的輸出端比如UPS的輸出端測(cè)得的諧波功率，由各種用電設(shè)備產(chǎn)生(網(wǎng)絡(luò)設(shè)備絕大多數(shù)都采用開關(guān)電源，本身就是一個(gè)較大的諧波源)。本案中，大量的內(nèi)諧波功率疊加后從衛(wèi)星接收機(jī)數(shù)據(jù)輸出電纜串入交易網(wǎng)絡(luò)，一方面以幻象干擾的形式侵蝕網(wǎng)絡(luò)帶寬(此時(shí)網(wǎng)絡(luò)測(cè)試儀監(jiān)測(cè)到的錯(cuò)誤類型即為Ghosts)，當(dāng)以太網(wǎng)的網(wǎng)絡(luò)總流量高于80％時(shí)，會(huì)導(dǎo)致絕大多數(shù)的網(wǎng)絡(luò)癱瘓；另一方面，串入的內(nèi)諧波將干擾正常數(shù)據(jù)傳輸(與正常的衛(wèi)星廣播數(shù)據(jù)疊加，表現(xiàn)為FCS幀錯(cuò)誤和少量長(zhǎng)幀)，使衛(wèi)星接收機(jī)接收到的數(shù)據(jù)出錯(cuò)，顯示屏出現(xiàn)大片空白或不能實(shí)時(shí)更新數(shù)據(jù)。本故障為累積故障，兩個(gè)月前因UPS性能下降就開始出現(xiàn)少量干擾超標(biāo)，不過這沒有引起網(wǎng)管人員的足夠重視。前天維護(hù)設(shè)備后又增加了電纜接地回路的干擾問題。但因當(dāng)時(shí)未將衛(wèi)星接收機(jī)連入網(wǎng)絡(luò)，網(wǎng)管人員僅檢查了網(wǎng)絡(luò)部分的工作狀況，所以此時(shí)的網(wǎng)絡(luò)表現(xiàn)肯定是正常的。直到今天臨近股市開市，當(dāng)接通衛(wèi)星廣播數(shù)據(jù)的輸入通道時(shí)，問題才爆發(fā)出來(lái)。此時(shí)內(nèi)諧波干擾信號(hào)大舉入侵網(wǎng)絡(luò)，幾乎造成網(wǎng)絡(luò)癱瘓。
　　
　　關(guān)斷集線器組電源，內(nèi)諧波總功率下降，干擾信號(hào)強(qiáng)度減弱，錯(cuò)誤率自然有所下降。更換UPS電源后，錯(cuò)誤率大幅下降(理論上應(yīng)降為零)。但因接地回路問題使50Hz電源及其高次諧波感應(yīng)信號(hào)仍能進(jìn)入網(wǎng)絡(luò)形成較小數(shù)量的錯(cuò)誤幀。需要注重的一點(diǎn)是，一般人在更換UPS后看到網(wǎng)絡(luò)恢復(fù)正常工作即認(rèn)為故障已經(jīng)排除，因此很輕易忽視儀器監(jiān)測(cè)指示仍存在的少量錯(cuò)誤(1.3％)，這可能使“接地回路問題”這一重大故障隱患得以長(zhǎng)期存在下去。
　　
　　此故障的診斷網(wǎng)管系統(tǒng)基本上無(wú)能為力。
　　
　　
　　[建議]電源諧波功率含量和網(wǎng)絡(luò)錯(cuò)誤率要定期測(cè)試，當(dāng)發(fā)現(xiàn)錯(cuò)誤幀時(shí)一定不要掉以輕心。另外，一路電源能帶動(dòng)的工作站建議不要超過30臺(tái)，否則應(yīng)象劃分網(wǎng)段那樣重新劃定供電區(qū)域。以免內(nèi)諧波功率累積過大，超過設(shè)備的容許范圍。假如您的網(wǎng)絡(luò)可靠性要求很高，或者您的網(wǎng)絡(luò)對(duì)您來(lái)說(shuō)非常重要，那么建議您將主要的網(wǎng)絡(luò)設(shè)備如服務(wù)器、路由器等，在網(wǎng)絡(luò)規(guī)劃設(shè)計(jì)時(shí)就選擇由單獨(dú)的UPS供電。
　　
　　　
　　
　　
　　[故事之三]光纖鏈路造侵蝕損壞
　　
　　
　　[癥狀]周末，要下班了，我正在計(jì)劃如何安排假期，接某銀行來(lái)電，報(bào)告該行某支行下轄的西區(qū)營(yíng)業(yè)部網(wǎng)絡(luò)癱瘓，營(yíng)業(yè)部所治理的33臺(tái)ATM取款機(jī)也全部不能提供取款服務(wù)，用戶反響強(qiáng)烈。已經(jīng)兩天了，解決都沒有問題，要求網(wǎng)絡(luò)醫(yī)院立即派人幫助排除。
　　
　　西區(qū)營(yíng)業(yè)部和支行在同一個(gè)大院的兩幢大樓內(nèi)，之間用一對(duì)90米的光纖將營(yíng)業(yè)部的網(wǎng)絡(luò)與支行的網(wǎng)絡(luò)連接起來(lái)，路由器、服務(wù)器等都設(shè)在支行計(jì)算中心(100BaseT以太網(wǎng))。營(yíng)業(yè)部的網(wǎng)絡(luò)結(jié)構(gòu)為10BaseT以太網(wǎng)，五天前發(fā)現(xiàn)網(wǎng)絡(luò)速度變慢，用戶抱怨ATM取款機(jī)等待時(shí)間太長(zhǎng)。由于營(yíng)業(yè)部沒有配備任何網(wǎng)絡(luò)測(cè)試和維護(hù)的工具，為了定位故障，請(qǐng)支行計(jì)算中心的網(wǎng)管人員協(xié)助檢查。從支行一端的網(wǎng)絡(luò)監(jiān)測(cè)顯示，一切正常。從計(jì)算中心打開營(yíng)業(yè)部交換器的Mib，觀察流量正常，

上一篇：實(shí)戰(zhàn)手記之SNMPTraps

下一篇：5300GW配置模版