巧用排除法進(jìn)行網(wǎng)絡(luò)中故障的排除

2019-11-04 20:30:51

字體：大中小

供稿：網(wǎng)友

　　由于地域限制的原因，我城域網(wǎng)分布在兩個(gè)地區(qū)，由A網(wǎng)絡(luò)和B網(wǎng)絡(luò)構(gòu)成，通過Router1 和Router2的廣域網(wǎng)接口互連，并通過兩個(gè)ISP出Internet，而且在一端Internet或防火墻有問題時(shí)，可以互轉(zhuǎn)至另一端出Internet，所有核心設(shè)備的路由采用的是OSPF。網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)如圖所示。
　　
　　本網(wǎng)絡(luò)的安全系統(tǒng)部署了防御外部攻擊的防火墻和一套不完善的防病毒系統(tǒng)，沒有安裝IDS和相應(yīng)網(wǎng)絡(luò)治理及監(jiān)控軟件。
　　
　　上網(wǎng)出現(xiàn)異常
　　
　　某日21：00，用戶故障臺(tái)申報(bào)A網(wǎng)絡(luò)不能上外部Internet，但是A網(wǎng)絡(luò)訪問B網(wǎng)絡(luò)提供的Web服務(wù)及其他應(yīng)用服務(wù)正常，同時(shí)B網(wǎng)絡(luò)一切正常。
　　
　　我們遠(yuǎn)程進(jìn)入系統(tǒng)檢測(cè)發(fā)現(xiàn)防火墻出了問題，按照常規(guī)重啟防火墻，結(jié)果還是不行；再通過系統(tǒng)設(shè)置將我們A網(wǎng)絡(luò)的外網(wǎng)出口轉(zhuǎn)至B網(wǎng)絡(luò)出口，發(fā)現(xiàn)B網(wǎng)絡(luò)上網(wǎng)忽然變慢，而且有中斷的情況。開始我們認(rèn)為那是流量較大的原因?qū)е翽IX2處理不及，但是后來PIX2癱瘓，A、B網(wǎng)絡(luò)都不能上Internet，這和我們平時(shí)互轉(zhuǎn)Internet不一樣，我們分析A網(wǎng)絡(luò)有問題，結(jié)果我們一撤消互轉(zhuǎn)，PIX2即恢復(fù)正常。
　　
　　日志中找到蛛絲馬跡
　　
　　1．故障信息的獲得
　　
　　1）進(jìn)入核心Router1
　　
　　Recent 1 sec: average 15%, peak 23%
　　Recent 5 secs: average 14%, peak 29%
　　
　　系統(tǒng)正常。
　　
　　2）進(jìn)入核心Switch1
　　
　　系統(tǒng)資源占有率為11%，而且ARP和ipReceive占用CPU分別為0.09%和2%，一切和平時(shí)基本一樣，沒有異常現(xiàn)象。
　　
　　3）近端進(jìn)入PIX1防火墻的審計(jì)系統(tǒng)觀察到如下大量的信息，如表1所示。
　　
　　表1
　　
　　序號(hào) 內(nèi)核事件類型事件來源事件內(nèi)容用戶時(shí)間
　　1 √ Error 內(nèi)核事件從119.206.107.154(351)到 SYSTEM 21:03
　　69.56.141.67(80)的TCP包
　　未找到相應(yīng)的連接
　　
　　2 √ Error 內(nèi)核事件從117.75.118.170(551)到 SYSTEM 21:03
　　69.56.141.67(80)的TCP包
　　未找到相應(yīng)的連接
　　
　　3 √ Error 內(nèi)核事件從118.149.67.172(39)到 SYSTEM 21:03
　　69.56.141.67(80)的TCP包
　　未找到相應(yīng)的連接
　　
　　進(jìn)入防火墻安全控制臺(tái)，調(diào)出生成的NAT記錄全部如下:
　　
　　nat.c[2839] 164.30.123.28(715) -> 69.56.141.67(80) TCP not NAT
　　nat.c[2839] 65.135.150.204(379) -> 69.56.141.67(80) TCP not NAT
　　nat.c[2839] 62.161.122.93(259) -> 69.56.141.67(80) TCP not NAT
　　
　　…………
　　該類記錄一直出現(xiàn) ，同時(shí)顯示防火墻資源耗盡。
　　
　　故障分析
　　
　　1）常規(guī)經(jīng)驗(yàn)
　　
　　根據(jù)我們的經(jīng)驗(yàn)，沖擊波或震蕩波等網(wǎng)絡(luò)病毒發(fā)作攻擊防火墻時(shí)一般不帶隱蔽性，通過防火墻的審計(jì)系統(tǒng)和部署的防病毒服務(wù)器可以查出病毒源頭的IP或占用的TCP端口，在系統(tǒng)里通過Router和三層Switch的ACL將源IP和所占用的TCP端口封閉然后再找源IP即可解決問題。
　　
　　2）故障表現(xiàn)
　　
　　這次故障從整個(gè)系統(tǒng)來看，交換機(jī)、路由器、防病毒服務(wù)器的所有記錄沒有顯示出有大規(guī)模的病毒發(fā)作，因此我們排除了是病毒發(fā)作的可能性。
　　
　　從防火墻的信息可以看出，整個(gè)防火墻的內(nèi)核事件全部為：
　　
　　“從119.206.107.154(351)到69.56.141.67(80)的TCP包未找到相應(yīng)的連接”，NAT記錄也顯示了同樣的信息，源IP和源TCP端口在不斷地變化，源IP為外部地址，目標(biāo)IP也是外部地址，目標(biāo)TCP為80端口，整個(gè)故障現(xiàn)象給人的感覺不像網(wǎng)絡(luò)病毒發(fā)作，更不像通常的沖擊波蠕蟲病毒和震蕩波蠕蟲病毒，而且將A網(wǎng)絡(luò)的出口一轉(zhuǎn)至B網(wǎng)絡(luò)上就導(dǎo)致B網(wǎng)絡(luò)上Internet不正常。
　　
　　3）故障類型
　　
　　由于防火墻的工作機(jī)理使得在網(wǎng)絡(luò)中被攻擊對(duì)象一般是具有默認(rèn)路由選擇的防火墻，根據(jù)故障表現(xiàn)、防火墻的信息和分析，我們初步判定為內(nèi)部攻擊防火墻，是A網(wǎng)絡(luò)里用戶在攻擊防火墻PIX1，轉(zhuǎn)至B網(wǎng)絡(luò)出口該用戶又攻擊防火墻PIX2，導(dǎo)致外網(wǎng)的阻斷。
　　
　　該次攻擊可能是某個(gè)用戶安裝黑客軟件惡意攻擊防火墻，也可能是該用戶無意中安裝了或感染了非法的木馬程序?qū)е铝斯舻陌l(fā)生，而且該攻擊具有很大的欺騙性，該用戶將源地址轉(zhuǎn)換成不斷變化的外部公用IP，而且TCP變?yōu)镠TTP占用的80端口，使得我們無從下手。
　　
　　用排除法解決故障
　　
　　為了保證用戶的利益，必須在最短的時(shí)間內(nèi)查出故障源，同時(shí)影響范圍要盡可能小。由于攻擊有很大的欺騙性，從獲得的信息我們不能得知攻擊源的具體位置和網(wǎng)段，因此我們采用逐步排除法由大到小查找攻擊源，而且在解決過程中考慮系統(tǒng)的可操作性和OSPF的收斂對(duì)網(wǎng)絡(luò)系統(tǒng)構(gòu)成的影響。
　　
　　1．排查核心路由器以外的網(wǎng)絡(luò)
　　
　　進(jìn)入Router1，將Router1中連接A網(wǎng)絡(luò)和B網(wǎng)絡(luò)的端口關(guān)閉，PIX1中仍然有以上信息出現(xiàn)，因此我們打開該接口。再在Router1里將Router1和Router3的接口關(guān)閉，發(fā)現(xiàn)攻擊仍然沒有停止。因此我們判定攻擊源不在Router1以外的用戶。
　　
　　2．排查Router 4、Router 5上的用戶
　　
　　進(jìn)入核心Switch1，關(guān)閉Switch1與Router 4、Router 5的接口，發(fā)現(xiàn)問題還存在。經(jīng)過以上操作，范圍進(jìn)一步縮小，攻擊源確定在Switch1和Switch2自帶的用戶上，由于防火墻掛在Switch1上，因此我們先排除Switch2的用戶。
　　
　　3．排查核心Switch2上的用戶
　　
　　先進(jìn)入Switch1和Router 1，采用扎口袋的辦法將它們與Switch2的接口關(guān)閉，打破自愈環(huán)，造成Switch2獨(dú)立成網(wǎng)絡(luò)，這時(shí)發(fā)現(xiàn)防火墻工作正常，故障現(xiàn)象消失，用戶能正常上Internet。因此初步判定攻擊源是Switch2上的用戶，但是具體網(wǎng)段還需要進(jìn)一步的判定。
　　
　　4．進(jìn)一步排查具體網(wǎng)段和單機(jī)
　　
　　1）超級(jí)終端進(jìn)入核心Switch2，先將它上面的所有業(yè)務(wù)和用戶接口全部關(guān)閉，再遠(yuǎn)程進(jìn)入核心Switch1和Router 1打開它們與核心Switch2的接口。
　　
　　2）遠(yuǎn)程進(jìn)入核心Switch2,逐步打開Switch2上各個(gè)二級(jí)單位的接口，當(dāng)打開與勘探公司的千兆接口時(shí)，防火墻上的審計(jì)系統(tǒng)馬上出現(xiàn)故障信息，外網(wǎng)馬上受阻不暢，終于查明攻擊源具體在勘探公司的小范圍網(wǎng)絡(luò)內(nèi)，于是打開其他正常的所有二級(jí)單位的網(wǎng)絡(luò)接口。
　　
　　3）勘探公司的處理
　　
　　由于勘探公司具有兩個(gè)C網(wǎng)段，計(jì)300多個(gè)用戶，而且遠(yuǎn)離我們核心網(wǎng)絡(luò)40多公里，馬上聯(lián)系該公司的網(wǎng)絡(luò)治理員配合進(jìn)行處理。
　　
　　我們遠(yuǎn)程登錄入該公司三層交換機(jī)，也采用先關(guān)閉后逐步打開的辦法將故障源定位到了一臺(tái)樓層接入層交換機(jī)上，由于該公司的網(wǎng)絡(luò)建設(shè)不規(guī)范，對(duì)于下層的交換機(jī)不能遠(yuǎn)程治理，于是先采用Sniffer軟件進(jìn)行跟蹤抓包，希望能從捕捉的數(shù)據(jù)流報(bào)文查出故障源的IP，結(jié)果也得出和防火墻審計(jì)系統(tǒng)相似的數(shù)據(jù)，不能查出具體IP和TCP端口。
　　
　　最后采用物理拔網(wǎng)線的辦法查出了故障源，該用戶最近安裝了叫l(wèi)onseled的軟件，它是一種以黑客方式檢查并探測(cè)網(wǎng)絡(luò)的軟件，導(dǎo)致了故障的發(fā)生。
　　
　　這次故障影響面很大，有兩千多個(gè)用戶不能上外網(wǎng)，中斷時(shí)間長(zhǎng)，部分用戶中斷達(dá)兩個(gè)半小時(shí)，雖然經(jīng)過逐步排查終于水落石出，但是給我們帶來了慘痛的教訓(xùn)，主要有以下幾點(diǎn)。
　　
　　1．冷靜處理故障
　　
　　在出現(xiàn)網(wǎng)絡(luò)攻擊時(shí)不要驚慌失措，要學(xué)會(huì)冷靜思考分析問題，采用圍追堵截和逐步排查的辦法由大到小地查出故障源。
　　
　　2．網(wǎng)絡(luò)安全建設(shè)的必要性和重要性
　　
　　在網(wǎng)絡(luò)建設(shè)和運(yùn)營(yíng)中我們不只是重視外部對(duì)網(wǎng)絡(luò)構(gòu)成的威脅和網(wǎng)絡(luò)規(guī)模的擴(kuò)大，隨著互聯(lián)網(wǎng)的迅猛發(fā)展，內(nèi)部網(wǎng)絡(luò)中的網(wǎng)絡(luò)非法流量也是不可忽視的，因此內(nèi)部構(gòu)建一套完整的網(wǎng)絡(luò)安全系統(tǒng)顯得十分必要和重要，假如網(wǎng)絡(luò)中全面的部署了IDS、網(wǎng)絡(luò)治理及流量監(jiān)控軟件等安全信息系統(tǒng)，這次故障就會(huì)在很短的時(shí)間內(nèi)解決。
　　
　　3．基礎(chǔ)網(wǎng)絡(luò)建設(shè)注重的問題
　　
　　在低端的基礎(chǔ)網(wǎng)絡(luò)建設(shè)中也要做好網(wǎng)絡(luò)規(guī)劃，不能只做網(wǎng)線接頭的連通工程，這樣也會(huì)給我們網(wǎng)絡(luò)的安全運(yùn)行帶來隱患，基礎(chǔ)建設(shè)好了會(huì)使得我們處理網(wǎng)絡(luò)故障得心應(yīng)手，加快問題解決的步伐。

上一篇：廣域網(wǎng)應(yīng)用程序的故障排除與分析

下一篇：網(wǎng)管經(jīng)驗(yàn)談：網(wǎng)絡(luò)故障排除三則(圖)