經典故事:網絡醫院的故事（二）

2019-11-04 20:28:46

字體：大中小

來源：轉載

供稿：網友

　　[故事之三]
　　
　　光纖接頭因雨水侵蝕和污染,導致網絡癱瘓
　　
　　[癥狀]
　　
　　周末，要下班了，我正在計劃如何安排假期，接某銀行來電，報告該行某支行下轄的西區營業部網絡癱瘓，營業部所治理的33臺ATM取款機也全部不能提供取款服務，用戶反響強烈。已經兩天了，解決都沒有問題，要求網絡醫院立即派人幫助排除。
　　
　　西區營業部和支行在同一個大院的兩幢大樓內，之間用一對90米的光纖將營業部的網絡與支行的網絡連接起來，路由器、服務器等都設在支行計算中心(100BaseT以太網)。營業部的網絡結構為10BaseT以太網，五天前發現網絡速度變慢，用戶抱怨ATM取款機等待時間太長。由于營業部沒有配備任何網絡測試和維護的工具，為了定位故障，請支行計算中心的網管人員協助檢查。從支行一端的網絡監測顯示，一切正常。從計算中心打開營業部交換器的Mib，觀察流量正常，為5％，發現只有很少量CRC/FCS錯誤，沒有發現嚴重異常，用協議分析儀捕捉數據包觀察，也未發現嚴重的問題，遂懷疑是病毒侵害營業部子網。昨日夜間進行了查殺病毒，重裝系統，恢復數據等工作，癥狀大大減輕。但未能經受住昨夜暴風雨的考驗(本周天氣除昨天下午間晴外，連續降雨)，最終于今晨"死網"。為便于觀察，支行網管人員在計算中心將連接營業部的交換機用集線器暫時取代，結果導致支行網絡速度也變慢。檢查營業部內的交換數據無障礙，斷定是傳輸通道的問題。拔下光纖，支行速度恢復正常，插上光纖則上述現象重新出現。進一部測試光纖鏈路，連接和衰減均符合要求。故障排除工作陷于停頓。
　　
　　[診斷過程]
　　
　　據網管人員介紹的上述情況，光纖和交換機已經過了網管人員初步檢測，基本正常。可以初步判定問題出在鏈路通道上。將F683網絡測試儀接入營業部交換機，觀察網絡基本正常。進行通道測試，檢測營業部到支行的ICMP Ping測試結果，成功率約0.8％，路由追蹤支行服務器，成功率約0.5％。從支行集線器上觀察，流量18％，屬正常范圍，但發現大量"幻象干擾"錯誤"Gosts"(16％)，拔除光纖，則錯誤為0％，至此可以肯定錯誤與營業部網絡及其通道有關。將營業部與支行連接的交換機接口串入一個4端口的集線器，用F683網絡測試儀觀察網絡，流量5％，發現大量幻象干擾(97％)，拔除光纖，錯誤消失。尋找光纖接線箱，發現支行一側的接線箱外包裝已被撞擊變形、破損(據說是半年前安裝空調時被吊車臂碰壞)，雨水已將3號接頭完全浸蝕(3號接頭用于連接營業部)。清潔接線箱內的所有光纖接頭，用電吹風加熱干燥光纖的插頭插座，重新更換并密封接線箱，故障徹底消失。
　　
　　[診斷評點]
　　
　　光纖鏈路經常被忽視。本故障中，光纖接頭因雨水侵蝕和污染，從營業部送來的信號被大量反射，此時若只測試光纖鏈路的物理性能是合格的。但由于此段光纖只有90米，強反射信號經過較少的衰減后與正常信號疊加，破壞了數據的結構(包括數據幀幀頭信號格式)，網絡測試儀即認為這是幻象干擾信號而不是正常的數據信號。此時只有少數信號可能僥幸通過。由于集線器和交換器不具備前期碰撞的識別能力，所以從網管上只能觀察到數據幀后半部分被破壞后所表現出來的少量FCS/CRC類型的錯誤，此錯誤往往被人忽視。
　　
　　昨天重裝系統后因天氣轉晴，光纖接頭性能有所好轉，癥狀減輕。昨夜暴雨又使網絡陷入災難境地。加上今天測試光纖鏈路顯示正常，致使故障排除陷于停頓，束手無策。
　　
　　[建議]
　　
　　交換器對均衡網絡負荷、隔離故障網段對網絡的影響有很好的效果，但也因此經常成為網管系統監測中的"黑洞"。用網絡測試儀定期監測網絡可以將故障消滅在萌芽狀態之中。定期測試分很多種，我們將在以后的連載中陸續介紹。本故障如不及時處理，其它光纖接頭連接的網絡也會陸續出現嚴重問題。
　　
　　[故事之四]
　　
　　3類插頭代替5類插頭，數據幀被反射和串繞破壞，導致網絡中產生大量的碰撞幀和少量的FCS幀
　　
　　[癥狀]
　　
　　某大公司IT經理黃先生是我的朋友，新年將近，喜事卻不多。今天來電要求幫忙查找"元兇"。
　　
　　事情是這樣的，公司規模發展很快，兩周前對網絡實施了一次比較大的擴容工程，新增加了200臺工作站(為新員工配備)，網絡規模由2000個站點增加到2200個站點，全部在一個網段中。該公司采用100BaseT以太網結構，用兩個路由器實現與生產基地和開發基地的連接(新換2個155ATM骨干)，以前我曾建議他們將網段劃分小一些，以便治理和隔離故障，但因網絡未出現什么大的故障，加上黃先生本人的豐富經驗和自信以及維護經費未落實等原因，網絡一直保持了這種大型網段的"危險結構"。這次擴容同時將兩條廣域網骨干鏈路升級到155ATM，但網段結構仍然未作根本調整，計劃留待下期工程時再作打算。本周內網絡已多次出現阻塞現象，天天至少兩次，每次阻塞時間10～30分鐘不等。逐個仔細檢查了新安裝的200臺工作站，沒有發現任何問題。由于故障不是持續存在，Boss催得又緊，故令黃先生頗有些"精疲力盡"的感覺。
　　
　　[診斷過程]
　　
　　上午10:00，打開路由器的MIB庫，記錄的參數基本正常，網絡平均流量13％。其中有約1.5％左右的碰撞，表明網絡結構的絕大部分構件是好的。給新增加的200臺工作站Share一個軟件，然后每40臺一組同時下載并操作該軟件，結果證實200臺工作站工作基本正常。將F683網絡測試儀接入網絡，同時將F693網絡流量分析儀也接入網絡進行監測。下午14:21分，網絡阻塞現象出現，持續時間15分鐘，F693流量分析儀監測的流量正常，平均流量從9％上升到13％，一分鐘后下降為8％，但F683網絡測試儀的流量報告為84％左右，其中碰撞幀占82％～87％，少量FCS損壞幀(約2％～4％左右)。記錄該時間前后的PRotocol Matrix協議對話圖譜，發現在15分鐘阻塞時間內共有137個工作站曾發送或接收過數據，其中4個工作站一直在持續收發數據，有一個工作站發送的數據包流量一直占其它工作站流量總和的15倍左右。幸好黃先生以前對站點的Mac地址做過文檔備案，依據儀器顯示的Mac地址我們立即確定了這4個工作站的使用者(流量最大者是財務科陳小姐的地址)。隨即詢問他們最近有無更動過硬件和網線，有無增刪或調整過軟件，回答均是"沒有"。詢問陳小姐剛才在使用何種軟件與生產基地的小張聯絡 (Protocol Matrix協議矩陣指示為小張的工作站)。回答是"機器一直就連在網上，但剛才沒有使用計算機"。將網絡測試儀連接到陳小姐的臺式機網卡接口上，模擬發送流量，結果碰撞隨流量的增加而大幅增加。測試該鏈路的網卡和網線，顯示插頭為3類插頭，鏈路近端串擾超差比較多。重新更換5類插頭后，網絡恢復正常。經過私下再三詢問原因，陳小姐才道出了實情。
　　
　　[診斷評點]
　　
　　本故障是由更換不適當的3類插頭引起的。新員工小張是陳小姐的多年不見的同學，也是個網蟲。此次與陳小姐在新公司相遇，自然倍感親切。一周前小張在幫陳小姐安裝新聲卡時不慎將插頭損壞，隨意用一個3類插頭更換之。臨近新年，陳小姐在小張的指點下從網上陸續下載了不少大容量的賀年卡，均為動態電影格式，可以在網絡上實時傳送播放并加上雙方對話，非常有趣。該站點平時使用的財務軟件無論是傳輸速度和數據量都很小(3k左右)，對整個網絡系統影響不大。但在向小張放送解壓后的動態電影賀年卡時數據流量約在3~4Mbps左右。由于網線問題，事后推算傳輸的數據幀約有13％是有效的，其余均被反射和串繞所破壞須重新發送，表現為網絡上大量的碰撞幀和少量的FCS幀。
　　
　　[建議]
　　
　　大型網絡不劃分網段既不便于治理又很難隔離網絡故障，此種結構是非常少見的，同時也是非常危險的。該公司網絡大部分采用的是集線器，只有很少幾臺交換機，這對故障隔離也是不利的。另外，一定要對員工進行上機前教育，不能隨意增刪、更改軟件和網絡設置。所幸的是黃先生本人經驗非常豐富，平時已將文檔備案工作做得很細致(國內多數網絡在文檔備案時不將網卡的Mac地址備案)，否則是不可能在半小時內查出本故障，一般來講，可能會耗費1～3天左右的時間才行。
　　
　　[后記]
　　
　　黃先生經過此次"洗禮"，也悟出一點當好IT經理經理的絕招。至少他已不再認為僅憑經驗就可以"打遍天下無敵手"。網絡維護是一門藝術，更是一門科學或工程，沒有適用的工具和科學的方法是達不到這最高的"藝術境界"的。至于陳小姐，我們還是愿意善意地再為她，也為小張保守一段時間的"秘密"。

上一篇：可網管交換機的管理

下一篇：活用IP地址輕松管理電腦網絡