小康巡診日記-網絡經脈篇之故事(3)

2019-11-04 20:37:17

字體：大中小

來源：轉載

供稿：網友

　　
　　[癥狀]周末，要下班了，我正在計劃如何安排假期，接某銀行來電，報告該行某支行下轄的西區營業部網絡癱瘓，營業部所治理的33臺ATM取款機也全部不能提供取款服務，用戶反響強烈。已經兩天了，解決都沒有問題，要求網絡醫院立即派人幫助排除。
　　西區營業部和支行在同一個大院的兩幢大樓內，之間用一對90米的光纖將營業部的網絡與支行的網絡連接起來，路由器、服務器等都設在支行計算中心(100BaseT以太網)。營業部的網絡結構為10BaseT以太網，五天前發現網絡速度變慢，用戶抱怨ATM取款機等待時間太長。由于營業部沒有配備任何網絡測試和維護的工具，為了定位故障，請支行計算中心的網管人員協助檢查。從支行一端的網絡監測顯示，一切正常。從計算中心打開營業部交換器的Mib，觀察流量正常，為5％，發現只有很少量CRC/FCS錯誤，沒有發現嚴重異常，用協議分析儀捕捉數據包觀察，也未發現嚴重的問題，遂懷疑是病毒侵害營業部子網。昨日夜間進行了查殺病毒，重裝系統，恢復數據等工作，癥狀大大減輕。但未能經受住昨夜暴風雨的考驗(本周天氣除昨天下午間晴外，連續降雨)，最終于今晨“死網”。
　　為便于觀察，支行網管人員在計算中心將連接營業部的交換機用集線器暫時取代，結果導致支行網絡速度也變慢。檢查營業部內的交換數據無障礙，斷定是傳輸通道的問題。拔下光纖，支行速度恢復正常，插上光纖則上述現象重新出現。進一部測試光纖鏈路，連接和衰減均符合要求。故障排除工作陷于停頓。
　　[診斷過程]據網管人員介紹的上述情況，光纖和交換機已經過了網管人員初步檢測，基本正常。可以初步判定問題出在鏈路通道上。將F683網絡測試儀接入營業部交換機，觀察網絡基本正常。進行通道測試，檢測營業部到支行的ICMP Ping測試結果，成功率約0.8％，路由追蹤支行服務
　　器，成功率約0.5％。從支行集線器上觀察，流量18％，屬正常范圍，但發現大量“幻象干擾”錯誤“Gosts”(16％)，拔除光纖，則錯誤為0％，至此可以肯定錯誤與營業部網絡及其通道有關。將營業部與支行連接的交換機接口串入一個4端口的集線器，用F683網絡測試儀觀察網絡，流量5％，發現大量幻象干擾(97％)，拔除光纖，錯誤消失。尋找光纖接線箱，發現支行一側的接線箱外包裝已被撞擊變形、破損(據說是半年前安裝空調時被吊車臂碰壞)，雨水已將3號接頭完全浸蝕(3號接頭用于連接營業部)。清潔接線箱內的所有光纖接頭，用電吹風加熱干燥光纖的插頭插座，重新更換并密封接線箱，故障徹底消失。
　　[診斷評點]光纖鏈路經常被忽視。本故障中，光纖接頭因雨水侵蝕和污染，從營業部送來的信號被大量反射，此時若只測試光纖鏈路的物理性能是合格的。但由于此段光纖只有90米，強反射信號經過較少的衰減后與正常信號疊加，破壞了數據的結構(包括數據幀幀頭信號格式)，網絡測試儀即認為這是幻象干擾信號而不是正常的數據信號。此時只有少數信號可能僥幸通過。由于集線器和交換器不具備前期碰撞的識別能力，所以從網管上只能觀察到數據幀后半部分被破壞后所表現出來的少量FCS/CRC類型的錯誤，此錯誤往往被人忽視。
　　昨天重裝系統后因天氣轉晴，光纖接頭性能有所好轉，癥狀減輕。昨夜暴雨又使網絡陷入災難境地。加上今天測試光纖鏈路顯示正常，致使故障排除陷于停頓，束手無策。
　　[建議]交換器對均衡網絡負荷、隔離故障網段對網絡的影響有很好的效果，但也因此經常成為網管系統監測中的“黑洞”。用網絡測試儀定期監測網絡可以將故障消滅在萌芽狀態之中。定期測試分很多種，我們將在以后的連載中陸續介紹。本故障如不及時處理，其它光纖接頭連接的網絡也會陸續出現嚴重問題。

上一篇：Ip over ATM pvc 方式配置

下一篇：小康巡診日記-網絡經脈篇之故事(2)