網絡故障日記（下）

2019-11-04 20:33:37

字體：大中小

來源：轉載

供稿：網友

　　第二部：網絡臟腑篇
　　
　　
　　[故事之一] 服務器網卡損壞引起廣播風暴
　　
　　
　　[癥狀]今天是周末，和家人及朋友一起正預備登上“黃山二日游”的旅游列車，忽接網絡醫院“急診呼叫”，心想這下完了，整個休假計劃準要泡湯。不出所料，某銀行向醫院求助，其西城區整個網絡癱瘓，與電腦中心的聯絡基本中斷，只偶然有部分交易能達成，但速度很慢，不知何故。由于電腦中心的網管系統也陷于癱瘓狀態，無法觀察任何網上設備的情況。
　　
　　[診斷過程]從火車站匆忙離別家人和朋友直奔該行電腦中心，途中與中心主任繼續聯絡了解情況。系統故障是凌晨4:30左右出現的(約4小時前)，值班員當時發現網管系統有報警信號，20秒鐘后網管機就基本上處于死機狀態了，想進一步了解故障，遂將系統重新啟動過三次，每次網管機都在20秒鐘左右失效，而主服務器和網管機脫機自檢均正常。
　　
　　詢問各營業所網絡內部工作情況，回答正常，只是交易動作無法實現。可以基本斷定故障就在中心的計算機系統中。中心除了配置有HP公司的網管軟件OpenView外，沒有再配備其它任何網絡維護工具。所以一旦網管系統不能正常工作，運行維護人員也就無從下手。東城區和西城區的網絡主服務器分別在兩個不同的網段中，之間用交換器連接起來。全城結算主機與東城區主服務器在同一網段。用F683網絡測試儀接入東城區正常工作的網段觀察，發現Cisco5500交換機的Plot3Port4(第3插槽的第4端口)有異常流量，而該端口連接的正是西城區主服務器和網管系統所在的網段。為更仔細地觀察此網段的工作情況，將F683網絡測試儀和協議診斷器PI接入該網段，測得網絡持續流量為97％，其中錯誤幀占98％。錯誤類型為短幀40％，幀常50～60字節不等，長幀58％，幀長3000～5200字節不等，并報告了出錯機器的Mac地址。依此地址查找對應的機器，遺憾的是該電腦中心沒有Mac地址備份表(只有ip地址和符號名對應表)。試著用ICMP的Ping查找網管機和服務器，顯示Mac地址對應的是服務器的IP地址。重裝服務器網卡驅動程序，無效，用F683測試服務器端口，協議顯示Unknown，更換服務器網卡，重裝驅動程序并設置響應參數，重啟系統即恢復正常。
　　
　　[診斷評點]服務器網卡已經損壞，發出的數據幀錯誤率為98％，只有不足1％的數據正常。所以網絡偶然還有交易可以達成。我們知道，超長幀有封閉網絡的作用，主要是引起網絡速度變慢或網絡癱瘓，而短幀達到一定流量則會對網絡設備的工作協議造成一定程度的破壞，引起設備死機(實際測試中發現工作站對此更敏感些)。網管機上網時在收到高錯誤流量幀后約20秒鐘即被破壞死機，無法觀測參數。
　　
　　許多設備在自檢時只檢查部分參數(有些參數尤其是某些物理參數無法僅靠自檢來測試)，此案例中網管機和主服務器自檢表現正常，而實際上主服務器的網卡物理功能已經失效，但在自檢時與操作系統的通信協議能正常工作，靠1％左右的正常幀可以維持極低的網絡活性。其它網站會在高流量錯誤幀的“轟炸”中陸續喪生。
　　
　　[診斷建議]交換機用來隔離網段和網絡故障有較好的作用，主服務器、網管機等重要網絡設備應以獨享交換機端口為佳，不宜再用共享式集線器連接上其它設備，這樣可以迅速孤立出故障設備，減少因網絡停運造成的損失。假如恰好碰到交換器故障，那么根據網絡拓撲結構圖就可以迅速定位交換機的問題，提高維護工作的時效性。另外，Mac地址是文檔備案的最重要內容之一，除了用于排除網絡設備故障有極大方便外，對于迅速查找我們稱之為“惡意用戶”的非合法上網成員也有很大幫助。
　　
　　[后記]您當然不會想到，兩個小時后我們乘上了另一列開往黃山的列車，心情還不錯。
　　
　　
　　[故事之二]交換機軟故障：電路板接觸不良
　　
　　[癥狀]今天的“病人”是某大型證券公司，在全市有近11個營業網絡。以下是該公司信息中心工程師對故障現象的描述：
　　
　　一段時間以來，整個網絡交易時常中斷，有時一天內會出現2～3次。起初每次持續的時間很短，沒有引起我們的足夠重視；我們做過簡單的測試，約幾秒鐘至十幾秒鐘不等，規律性不太明顯，一般開市時都正常。隨后一段時間“病情”不斷加重，發病頻率不斷增加。好幾個“資深”用戶曾向老總抱怨，近來碰到幾次原本估計十拿九穩的網上交易不能及時成交：“當我按下交易確認鍵時，計算機對此卻沒有任何響應，也不知道成交了沒有，只好再等上一會兒。我給伙伴們介紹的絕招是，過半分鐘再試，計算機就會顯示成交。不是每次都這樣靈光，但以前極少碰到這種事，而最近一周已經碰到好幾次了，好象一天比一天厲害，搞得我們的神經緊張兮兮的。”
　　
　　昨天15:26，臨近下午閉市時，故障現象再次出現：行情數據的顯示和更新都正常，就是普遍不響應交易命令(但不是絕對不響應，其中仍有少數交易能成交)，11個子交易網絡均反映受阻。網管人員初步判定是中心網絡的問題，立即在電腦科計算中心檢查交易服務器，CPU利用率、協議交換及包交換等指示正常，試驗重新登錄服務器和Ping測試也正常。時間到，轉為休市狀態。休市后保持交易網絡繼續運行，啟動模擬交易功能模塊，進入故障診斷作業程序。在計算中心LAN內連續作了40筆模擬交易均成功。同時在3個子交易網處作對內和對外的模擬交易，對內100％，對外成功率約15％左右。基本上可以肯定故障在網絡本身。保持模擬交易連續工作狀態，啟用計算中心的網管系統查看網絡，服務器工作狀況指示正常。檢查與其它11個營業網絡的聯系的交換器端口，有流量指示，但時有停頓。對其作Ping測試，偶然會有中斷(約有3％Ping測試不響應)。用DSP-100電
　　
　　纜分析儀檢查與交換機連接的端口電纜鏈路(服務器、網管機均在此網段內)，沒有問題。這說明服務器所在網段是正常的，懷疑是交換機端口損壞。將與服務器網段的電纜改插在別的交換器端口并作相應設置，網絡恢復正常工作，故障消失，確認為交換機端口損壞，心想總算可以松一口氣了。不料，今日開市后不久故障依舊如期“光臨”。
　　
　　
　　[診斷過程]晚上19:50我們趕到該證券公司所在地，立即啟動系統，自檢顯示正常。然后啟動模擬交易系統，觀察與子交易網絡的通信情況，表現正常。網絡拓撲圖上顯示各子交易網絡是用DDN專線通過路由器與計算中心本地網段的交換器聯系起來。打開各Router的工作表Mib檢查，無異常和錯誤記錄。逐個檢查交換機各端口工作表Mib，亦無異常和錯誤記錄。交易服務器和網管機同在一個網段，通過一個智能型集線器連接到交換機端口。打開集線器工作表，記錄數據正常。將F683網絡測試儀接入集線器端口進行連續監測。同時啟動測試儀流量發送功能，抽查3個子網的通道性能，并做體能測試，持續流量承受能力為98％，說明網絡很正常且表現相當優秀。
　　
　　本故障屬于軟故障。可以由網絡設備、應用軟件、供電設備、外來干擾等故障引起。由于故障時檢查過本地網絡，登錄服務器和進行Ping測試也是正常的，所以可基本判定集線器下掛網段是正常的。為了定位網絡故障，在某個選定的遠端子交易網絡處和網管中心同時用F683網絡測試儀雙向發送流量作通道性能測試和故障監測，并作ICMP Ping連續測試和ICMP監測。為便于觀察和比較，流量發送的幀長都設定為100字節，流量總和約30％(各占15％約10K左右)。
　　
　　在21:30故障如期出現。ICMP Ping測試出現斷層，立即打開交換機和路由器的工作表，記錄的流量等數據出現停頓或斷續，并顯示出現FCS幀錯誤。從遠端打開相應工作表的結果是：路由器接轉流量為17％，交換機接轉流量為2％，ICMP Ping斷層損失90％。ICMP監測顯示不可達97％
　　左右。從中心打開路由器和交換機工作表Mibs，接轉流量均為0.5％~0.9％。這表明遠端數據可以順利到達路由器但不能在交換機端口順利進行交換。最后用F43電源諧波測試儀測試UPS電源參數，驗證UPS電源合格。可以判定確實是交換機的問題。由于網管中心沒有備用的交換機，已知原交換機供給商已經停產該型號產品，所以只能考慮更換新型交換機。為了應付明天開市，試著確定一個好的代用端口，這樣可以將服務器網段臨時連接入網，防止明日開市碰到不測事件發生。
　　
　　查看交換機與路由器一側的連接端口，發現工作表是正常的。因此只需要代換與服務器連接的端口即可，詢問網管工程師上次故障時曾經更換過的是那個端口，答曰第4插槽上的空閑端口都試過。改用第5插槽上僅剩下的一個端口試驗連接，網絡恢復正常。由于故障時隱時現，故懷疑第4插槽存在軟故障。重新將端口還原為第4插槽，故障已經消失。為重復故障現象，試著用改錐木柄敲擊第4插槽，故障出現，再次連續敲擊，則故障時隱時現。取下第4插槽的電路板觀察，發現插針有較厚的氧化層(黑色氧化物)。用0000#細砂紙打磨插針并用酒精清洗，重新安裝好電路板，故障徹底消除，并且不再隨著敲擊電路板而時隱時現。為保險起見，順便檢查其它7個插槽的電路板，插針均沒有黑色氧化痕跡，證實只有4號插槽的插針在生產時使用了一組不合格的接插元件。交換機應屬于不合格產品。暫時確定用第5號插槽的空余端口作代用端口，并要求網絡不停機持續運行直到第二天休市為止，進行連續觀察。
　　
　　
　　[診斷評點]網絡故障分硬件故障和軟件故障，有時是軟硬件相結合的故障。某些情況下從網絡表現出的故障現象不能立即確定是那一類故障。本故障是由硬件設備接觸不良引起的故障，原因是計算中心用作分隔網段的交換機其第4插槽的插針接觸不良，使得與交換機第4插槽有關的接口工作都不太正常，出現斷續和停頓。設備在剛啟動的一段時間內，機器的元器件溫度較低，工作正常，隨著元器件溫度的升高，器件受熱膨脹，出現接觸不良的故障，所以天天開市后的一段時間網絡一般都不出問題。多次重復這一過程故障現象就會由較低頻率的時隱時現轉為較高頻率的時隱時現，故障每此持續時間也會延長，最終可能會演變為持續的硬故障現象

上一篇：來龍去脈分析深入研究DNS原理(圖)

下一篇：網絡故障日記（中）