網絡故障日記（中）

2019-11-04 20:33:37

字體：大中小

來源：轉載

供稿：網友

　　[故事之十一]網線共用，升級100Mbps后干擾服務器
　　
　　　
　　
　　[癥狀]今天的“病人”是某移動電話公司計費中心。據該中心的網絡主管人員介紹，為了緩解移動電話用戶解交電話費難的問題，該中心三個月前投巨資對原計費中心的網絡進行了調整和升級。與四家被委托代收手機費的銀行之間的網絡連接速度從標準的64Kbps速率DDN專線全部擴展為E1(2.048Mbps)速率，計費中心網絡從10Mbps以太網全部升級為以交換機為主的100Mbps以太網。升級前各委托收費銀行經常反映網絡連接時常莫名其妙地中斷，但一般能迅速恢復，業務妨礙不算大。升級后網絡速度提高了很多，但其下轄的各營業網點(共計120個)在為手機用戶辦理交費收費手續時計算機屏幕上常會提示“網絡遠端故障，無法提供數據”或“數據傳輸不穩定，請檢查網絡”，此時營業網點的收費服務會暫停，用戶意見很大。有時雖然還能提供服務，不過數據處理速度明顯變慢，最差的時候處理一筆業務查詢竟然需要反反覆覆操作5、6分鐘(正常時一般在10秒鐘以內)。比網絡設備升級前反而要慢得多。
　　
　　此故障每星期都要出現1到2次，每次從1小時到2小時不等。
　　
　　由于一直沒有查明升級前網絡時常中斷的真正故障原因，網絡治理人員在做此次網絡升級規劃時曾心存僥幸地寄希望于通過設備升級來徹底排除這些遺留網絡故障。遺憾的是，他們的運氣實在太差，非但老問題沒有解決，反而惹出了更大的新問題。遂向網絡醫院“掛號”求診。
　　
　　[診斷過程]由于銀行網和電信計費網不在同一個地方，出了“網絡醫院”我們需要決定先去哪里？從上述的故障現象初步分析，銀行絡網和移動通信公司計費中心網絡以及其連接的鏈路都有可能存在問題。計費中心的網絡設備和路由設備大部分在此次升級時都更換過，升級后故障依舊存在且表現更嚴重，基本可以排除新入網設備存在嚴重問題的可能性。網絡測試可以從銀行網絡和計費網絡同時著手。途中從銀行各營業廳網絡使用者處了解到，手機收費出現“麻煩”時銀行的其它業務流程均保持正常，并不受此影響(此時電信計費中心網絡的用戶也沒有反映網絡異常)。這說明銀行網絡存在問題的可能性要比計費網絡及其連接鏈路存在問題的可能性低。而問題出現在手機計費網絡和與銀行網絡的路由設備范圍內的可能性比較大，故我們決定先前往設在移動通信公司機房的手機計費網絡進行檢查測試，首先檢查計費網絡及其連接鏈路。
　　
　　第一次網絡測試是在網絡沒有出現故障時進行的，結果顯示各項測試指標都顯示網絡工作完全正常。將F683網絡測試儀接入計費網絡的交換路由器，監測網絡的工作狀況，顯示路由器利用率為1％(相當于E1鏈路中有20Kbps左右的業務流量)，錯誤統計為0%，與網管系統觀察的數據完全一致，將F683網絡測試儀改為與計費服務器并聯的方式監測，測試結果相同，這表明此時網絡工作很正常。在與計費網絡所在地的局域網使用和維護人員交談中了解到，網絡工作人員從來沒有感覺到他們的LAN有異常情況，雖然他們也知道手機用戶在經常抱怨，但從計費LAN處檢查不出什么實質問題，計費服務器表現也正常。故障出現時從網管系統上觀察，路由器、交換機、計費服務器都沒有問題。用OneToUCh網絡助理(即網絡故障一點通)仿真用戶流量對銀行的路由器、銀行網業務轉接服務器(以上測試在銀行進行)、移動通信公司的計費網絡與銀行網絡的連接路由器、網絡通道上的交換機、計費服務器等進行2分鐘80%持續流量沖擊測試(上述測試在計費中心)，用F683網絡測試儀監測移動監測各要害設備，結果基本相同，利用率為均80%，無錯誤出現，除了計費服務器處的碰撞率2%外，其它各處均為0%；ICMP Ping測試均在3ms以內，ICMP監測測試無擁塞、數據不可達、重定向、數據參數錯誤等顯示，這說明，網絡的通道測試結果是比較好的。
　　
　　在這種情況下，一般可以采用兩種測試方法繼續檢查故障，一種是被動監測法，即將網絡測試儀、流量分析儀、網管等監測設備啟動，對網絡實施不間斷監測，等待問題的重新出現；另一種是主動測試法，即將所有涉及到的網絡設備和終端設備及其業務均啟動或進行人為地仿真模擬，然后監測網絡的工作狀態，進行故障定位。為了盡快定位故障，經與計費網、銀行網網絡治理人員商定，我們決定采用第二種方法進行監測和測試(注重，此測試方案需要動用很多的人力和物力)，即將所有有關的網絡設備網絡終端設備啟動，并安排人員進行業務流程模擬操作。
　　
　　第二次測試在當天業務結束后進行。在啟動所有網絡設備5分鐘后，預期的故障現象果然出現。從網管系統上觀察，計費網和銀行網的連接路由器流量上升為3％，交換機流量增加1倍，計費服務器流量減少70％，網絡沒有發現異常情況。用F683網絡測試儀對整個計費通道的有關鏈路和設備進行移動監測，結果顯示：路由器和交換機的數據與網管系統的觀察結果一致，而計費服務器的流量為68％，正常數據7%，錯誤數據61％(幻象干擾Ghosts、FCS錯誤碎幀等)。很顯然，計費服務器與交換機之間的這條鏈路很可能有問題。
　　
　　暫停業務，從計費服務器網卡上拔下電纜插頭進行電纜測試，結果顯示只有1-2和3-6兩對電纜，4-5和7-8線對沒有連接。網管人員解釋，升級后除了新增加的布線外，電纜系統多數沒有變動，只有少數鏈路進行了調整。進一步檢查發現4-5和7-8線對連接到了另一臺備份服務器上，該服
　　務器用于每周兩次人工對各種要害數據進行審查、備份并上報局有關單位。恢復業務，啟動備份服務器進行數據備份和傳輸，結果故障現象出現。
　　
　　將備份服務器臨時用一條新鏈路單獨連接，故障徹底消失。對換下的電纜進行測試，近端串擾NEXT不合格(超差－2dB，綜合近端串擾PSNEXT－8dB)
　　
　　[診斷評點]網絡電纜內含4對(8根)細電纜線，一般的10Base-T和100Base-Tx網絡只使用其中的1-2和3-6線對，4-5和7-8線對不用，在10Base-T網絡中曾流行將4-5或7-8線對用來傳輸電話，或者用4-5和7-8線對用來連接另一臺電腦。在100Base-Tx以太網中，由于網絡工作頻率和數據率很高，串擾量很大，故這類用法是不被答應的。計費網絡升級前有部分站點用一條電纜連接兩臺計算機，升級后這部分電纜沒有變動，由于離新增加的交換機比較近，故將備份服務器接入了并用電纜。備份服務器平時雖然基本不用，但連接脈沖仍然會對計費服務器造成干擾，只是干擾量很少而已，這就是我們在交換機鏈路中觀察到2%碰撞率記錄的產生原因。由于該電纜的綜合近端串擾PSNEXT不合格，數據備份服務器在工作時對計費服務器會產生很大干擾，破壞傳輸數據，使得同一個數據包不得不多次重傳和多次重新處理，真實流量急劇上升到68％，重處理流量由0%上升到6.98％。由于服務器使用的是價格便宜的工作組交換機，所以網管系統無法從交換機端口發現鏈路中存在的嚴重問題。
　　
　　升級前業務偶然有中斷的現象，這也是由于并用線纜串擾造成的，由于當時是10Base-T網絡，速度低，所以這種影響比較小，往往只是偶然且是瞬間的影響。
　　
　　[診斷建議]在10Base-T以太網中存在著大量的非標準化布線以及大量不合格的布線鏈路，由于10Base-T網絡工作速度低，這些嚴重質量問題往往被掩蓋起來。直到升級到100Base-Tx以太網后這些問題才會明顯地暴露出來。10Base-T網絡布線系統中表現不明顯的問題同時也給集成商、工程商和廣大用戶造成一種錯覺，認為布線系統只要是物理上聯通的就不會有問題，從而忽視了影響鏈路質量的布線產品品質問題、施工工藝問題對網絡造成的嚴重影響。
　　
　　建議網絡設計者首先采用標準化的設計方案，且只有工程商和用戶在簽訂建造網絡的合同時選用標準化的施工工藝和標準化的現場認證測試方案，才能初步保證綜合布線系統的質量。
　　
　　《網絡測試和維護方案》中一般建議每年(必要時每半年)對布線系統輪測一遍，以保證布線系統的性能合格，排除因布局變動、用戶數量增刪和人為調整等原因對布線系統造成的損害。另外，網絡的業務工作和故障情況要有比較準確完整的記錄，這樣才能有助于故障的查找。假如“病人”對自己網絡的業務流程比較熟悉，則可以避免動用眾多人員加班配合排除故障。
　　
　　　
　　
　　[后記]一周后電話回訪該“病人”，得知已經全部將并用鏈路更換為單獨的合格鏈路，計費網絡工作非常良好，手機用戶再沒有“交費難”的抱怨了。
　　
　　
　　[故事之十二]電梯動力線干擾，占用帶寬，整個樓層速度降低
　　
　　[癥狀]某大型家電制造企業計算機中心主任，今天極其沮喪地了報告了該公司的一起頑固的網絡故障。該故障表現雖奇異但比較有規律，具體表現是：公司主辦公樓的網絡在員工上班的時候運行速度會變得很慢，下班后速度回升，有時基本上能回復到往常水平。故障時間大約三個月，準確“發病”的日期已無從記起。天天上午8:00左右開始發作，癥狀范圍是三樓的整個樓層，現象是速度忽然變慢，無論是從互聯網上下載文件、收發電子郵件都很慢且經常中斷和出錯。本樓層中的用戶之間在傳輸文件時、與其它樓層的用戶傳送文件時或是其它樓層的用戶與本樓層的用戶交換文件時都要用很長時間，但其它樓層的用戶之間互相交換文件則不受影響。第一此發作，故障一直持續了三天我們也沒有查明原因。由于三樓是公司設計開發部門，每日都要使用網絡環境進行大量的數據交換、資料查詢等工作，為了不影響新產品開發進度，當時將研發部的工作時間暫時推遲到下午6:00上班。兩周后情況仍未見好轉，故障仍然存在。不得以公司決定將研發部與二樓的行政治理部門臨時對調，以保證已經開始習慣于上“夜班”研發部員工正常的作息時間。誰知一“臨時”就是三個月之久。網管人員將布線系統、網絡平臺、所有主機和服務器、路由器都徹底檢查或互換過，一直未能查出故障瑣在。聽某知名系統集成商介紹可能是電纜系統的問題，隨即將布線系統進行了一次認證測試。結果還真的查出了不少嚴重問題。比如，原來的5類線系

上一篇：網絡故障日記（下）

下一篇：診斷幀中繼專線故障