網絡故障日記（上）

2019-11-04 20:33:34

字體：大中小

來源：轉載

供稿：網友

　　(小康巡診日記)
　　
　　[引言]網絡正以空前的速度走進我們每個人的生活。網絡的規模越來越大，結構越來越復雜，新的設備越來越多。一個正常工作的網絡給人們帶來方便和快捷是不言而喻的，但一個帶病工作的網絡也經常給人帶來無窮的煩惱甚至是巨大的損失。網絡世界中最忙亂、心里最感底氣不足的人恐怕要數網絡治理人員和運行維護人員了。他們時時刻刻都在為他們的網絡擔心，病毒、黑客、速度變慢、網絡崩潰....
　　
　　[小康檔案]：三年前負責治理Coneill公司，一家快速成長的公司的網絡，曾自認為是NT和Novell、Unix等平臺以及Oracle方面的專家，擅長協議分析和網管軟件的使用，天天忙于安裝設置不斷加入網絡的設備和系統，應付不斷增加的各種意外事件、報警和陷井，處理網絡設備經常性的增加、刪除、更改和系統設置、連接等方面的故障和問題。至于如何提高網絡的運行效率、如何合理調整網絡流量并配置網絡設備、如何防止網絡問題的發生、如何采用寬帶網絡設備組網及應用等則基本上無暇顧及。一年前，小康從網絡健康學院畢業后到網絡醫院就職，負責網絡的體檢(測試)和故障診斷，專門為哪些網絡發生嚴重問題的“病人”提供幫助。現在他已經是一位經驗豐富的網絡健康維護的醫生，巡診故事多多。
　　
　　第一部：網絡經脈篇
　　
　　[故事之一]三類線仿冒5類線，加上網卡出錯，升級后比升級前速度反而慢
　　
　　[癥狀]今天是我第一次巡診，病人抱怨他的大多數站點上網連接速度比系統升級前還慢，有的站點時斷時續，有的則根本不能上網。原來用的是10M以太網，工作非常穩定，性能優良。升級后全部更換為100M系統，出現上述癥狀。用戶總數未有增加，也沒有啟用大型軟件或多媒體應用軟件。重裝系統軟件、應用軟件，重新設置服務器和網站，查殺病毒，Reset所有聯網設備均不奏效。其中，有兩臺機器換到另一地點后能基本正常工作。用筆記本連接到這兩個不正常鏈路的集線器端口上網，也能正常工作。更換這兩根網線后現象依舊。將機器還原到原位置，更換網卡(原卡商標為3COM卡)后恢復正常，不知何故。由于以太網大多數用戶不能工作，只好暫時退回到10M以太網系統。
　　
　　[診斷過程]從10M系統的網管上觀察，網絡的平均流量為3%，低于40％，由于未運行大型軟件和多媒體軟件，應該不會感到任何速度上的“折扣”。將FLUKE的F683網絡測試儀接入Hub端口，測試網絡流量為35％。碰撞率為23％，遠遠高于5％的健康標準。報告的錯誤類型有：延遲碰撞、FCS幀錯誤、少量本地錯誤。基本可以斷定是布線系統的嚴重問題。遂對線纜進行測試，結果顯示除了測試點的兩根電纜線外，其余所有布線鏈路的衰減和近端串擾均不合格，用3類標準測試這些電纜則顯示全部合格。查看線纜外包裝上印有LUCent Cat5的字樣，可以斷定是仿冒產品。測試兩臺工作站的鏈路長度分別為78米和86米，測試其網卡端口，顯示網卡發射能力(信號幅度)不足，并且儀器上沒有內置的3COM廠商標記顯示。
　　
　　　
　　
　　[診斷點評]用3類線外覆5類線產品標記在假冒偽劣產品中為數不少。用戶在10M以太網環境中不會出現應用上的問題，一旦升級到100M環境在只有少數短鏈路能勉強使用。對于兩臺更換地點后能正常工作的網站，查明鏈路長度只有3米，且為標準的5類線(平時此站點用于臨時測試)。原地點測試長度為45米和37米，由于網卡發射能力弱，信號在100M系統衰減大，造成上網困難。改在3米鏈路連接時，衰減的影響小，故可以正常上網。網卡測試顯示為仿冒卡。
　　
　　　
　　
　　[后記]一個月后，“病人”打電話告述我，重新布線后網絡工作完全正常，即使跑一些多媒體軟件也絲毫沒有停頓的感覺。不好的消息是，原來的系統集成商已不知去向，無法索賠了。
　　　
　　
　　[故事之二]UPS電源濾波質量下降，接地通路故障，諧波大量涌入系統，導致網絡變慢、數據出錯
　　
　　[癥狀]今天的病人是一家聞名的證券公司。上午9:45，用戶來電請求緊急救援，說大戶室中的一群聲稱遭受巨額無故損失的憤怒的股民們正聚集在營業部計算中心的機房門前，質問為什么實時交易的動態信息顯示屏幕出現大片空白，數據刷新和交易的速度都極慢，且經常中斷，根本無法進行交易。揚言假如不立即恢復交易，將砸掉證券交易所的計算機。交易大廳的散戶門也開始向機房云集，假如不及時處理，情緒激動的股民們很可能真的會將營業部計算中心的網絡設備砸個希巴爛。放下電話豎立即直奔該營業部，途中繼續用移動電話了解得知，該網絡為10M以太網，用戶數為230個。從衛星接收廣播的行情數據，并回傳交易信息。由于從衛星接收機監測口觀察接收數據完全正常，故網管人員初步判定是網絡系統的問題。兩個月前就開始有傳輸數據錯誤的現象出現，有時數據更新出現空白，數據更新速度偶然變慢，有時出現斷續。雖用網管和協議分析儀檢查過，但因這種“癥狀”并不連續出現，且對網絡的速度和股民的交易基本沒有影響，故一直心存僥幸，沒有徹底查找真正的故障根源。前天參加“第二輪證券系統Y2K統一認證測試”，順利通過。利用剩余時間對硬件設備進行了檢測和維護，之后進行聯網檢查，網絡表現正常。不料今天開市就出現嚴重問題。
　　
　　　
　　
　　[診斷過程]用F683網絡測試儀監測網絡30秒，觀察網絡流量為81％(但網管報告為0.2%)，錯誤幀97.6%。錯誤類型為Ghosts(占93％)、FCS錯誤(又稱CRC錯誤)和Jabber，即幻象干擾、幀校驗錯誤和超長幀，這表明網絡中有大量的非法數據包存在。此類癥狀一般以電磁干擾和接地回路方面的問題居多。為了確定干擾源的準確位置，將大部分與工作站相連的集線器組電源關斷，服務器繼續工作，觀察錯誤率降為87％，仍然很高。重新打開集線器組電源，用F43電源諧波測試儀觀察，發現諧波含量嚴重超標(最高970mV)。該網絡用一臺大型UPS電源給所有網絡設備供電，測試UPS輸入電源諧波，約為輸出電源諧波含量的30％，明顯低于輸出端的指標，斷定為內諧波含量超標。啟動小型備用UPS后，網絡恢復正常工作(為減少負荷，網絡設備分批輪換接入)，但網絡測試儀顯示仍有錯誤存在，錯誤率(幻象干擾)下降為1.3％。再次關斷集線器組的電源，類型為Ghosts的幻象干擾錯誤率下降為0.8％，證實仍存在由接地回路串入的幻象干擾，且應該是從主通道進入。搖動衛星接收機的數據輸出電纜，幻象干擾時有時無，拔下電纜則干擾消失。網管人員回憶前日維護機器時曾動過該電纜。由此造成連接不良。為使股民能繼續交易，穩定情緒，在更換電纜后又將原UPS啟動繼續工作提供服務。收市后再更換大型UPS，故障徹底排除。
　　
　　　
　　[診斷點評]故障原因有二，一是UPS對電源的凈化能力下降，網絡外諧波輕易從電源系統串入網絡系統，為重大故障的發生提供了基礎，但只是累積的內諧波超標還不足以引發致命問題。二是接地回路問題，給大量的內諧波串入網絡提供了通道。內諧波是指從電源凈化設備的輸出端比如UPS的輸出端測得的諧波功率，由各種用電設備產生(網絡設備絕大多數都采用開關電源，本身就是一個較大的諧波源)。本案中，大量的內諧波功率疊加后從衛星接收機數據輸出電纜串入交易網絡，一方面以幻象干擾的形式侵蝕網絡帶寬(此時網絡測試儀監測到的錯誤類型即為Ghosts)，當以太網的網絡總流量高于80％時，會導致絕大多數的網絡癱瘓；另一方面，串入的內諧波將干擾正常數據傳輸(與正常的衛星廣播數據疊加，表現為FCS幀錯誤和少量長幀)，使衛星接收機接收到的數據出錯，顯示屏出現大片空白或不能實時更新數據。本故障為累積故障，兩個月前因UPS性能下降就開始出現少量干擾超標，不過這沒有引起網管人員的足夠重視。前天維護設備后又增加了電纜接地回路的干擾問題。但因當時未將衛星接收機連入網絡，網管人員僅檢查了網絡部分的工作狀況，所以此時的網絡表現肯定是正常的。直到今天臨近股市開市，當接通衛星廣播數據的輸入通道時，問題才爆發出來。此時內諧波干擾信號大舉入侵網絡，幾乎造成網絡癱瘓。
　　
　　關斷集線器組電源，內諧波總功率下降，干擾信號強度減弱，錯誤率自然有所下降。更換UPS電源后，錯誤率大幅下降(理論上應降為零)。但因接地回路問題使50Hz電源及其高次諧波感應信號仍能進入網絡形成較小數量的錯誤幀。需要注重的一點是，一般人在更換UPS后看到網絡恢復正常工作即認為故障已經排除，因此很輕易忽視儀器監測指示仍存在的少量錯誤(1.3％)，這可能使“接地回路問題”這一重大故障隱患得以長期存在下去。
　　
　　此故障的診斷網管系統基本上無能為力。
　　
　　
　　[建議]電源諧波功率含量和網絡錯誤率要定期測試，當發現錯誤幀時一定不要掉以輕心。另外，一路電源能帶動的工作站建議不要超過30臺，否則應象劃分網段那樣重新劃定供電區域。以免內諧波功率累積過大，超過設備的容許范圍。假如您的網絡可靠性要求很高，或者您的網絡對您來說非常重要，那么建議您將主要的網絡設備如服務器、路由器等，在網絡規劃設計時就選擇由單獨的UPS供電。
　　
　　　
　　
　　
　　[故事之三]光纖鏈路造侵蝕損壞
　　
　　
　　[癥狀]周末，要下班了，我正在計劃如何安排假期，接某銀行來電，報告該行某支行下轄的西區營業部網絡癱瘓，營業部所治理的33臺ATM取款機也全部不能提供取款服務，用戶反響強烈。已經兩天了，解決都沒有問題，要求網絡醫院立即派人幫助排除。
　　
　　西區營業部和支行在同一個大院的兩幢大樓內，之間用一對90米的光纖將營業部的網絡與支行的網絡連接起來，路由器、服務器等都設在支行計算中心(100BaseT以太網)。營業部的網絡結構為10BaseT以太網，五天前發現網絡速度變慢，用戶抱怨ATM取款機等待時間太長。由于營業部沒有配備任何網絡測試和維護的工具，為了定位故障，請支行計算中心的網管人員協助檢查。從支行一端的網絡監測顯示，一切正常。從計算中心打開營業部交換器的Mib，觀察流量正常，

上一篇：數據存儲新方向 ISCSI全面解析(圖)

下一篇：來龍去脈分析深入研究DNS原理(圖)