城域網(wǎng)割接及割接引起業(yè)務(wù)中斷的案例

2019-11-04 22:37:20

字體：大中小

供稿：網(wǎng)友

　　這是一例發(fā)生在運(yùn)行MPLS VPN的網(wǎng)絡(luò)上由ios軟件Bug引起的故障案例,我把他整理出來(lái)供大家參考和討論,故障的發(fā)生和解決都帶有偶然性,并不重要, 只希望通過(guò)討論,能夠提高我們分析問(wèn)題,解決問(wèn)題的能力.
　　
　　一、故障緣由
　　某城市A城域網(wǎng)骨干兩臺(tái)7206（R1和R2）上聯(lián)核心網(wǎng)，下聯(lián)城域，互為備份，運(yùn)行MPLS，圖就不畫(huà)了，呵呵。某日升級(jí)城域，對(duì)城域網(wǎng)進(jìn)行調(diào)整和擴(kuò)容。(下文中的城市B的城域結(jié)構(gòu)有所不同,規(guī)模也大些,但在此例中也可按此結(jié)構(gòu)理解,故不做具體說(shuō)明)
　　升級(jí)過(guò)程：
　　1、升級(jí)7206ios
　　2、業(yè)務(wù)割接
　　3、冗余測(cè)試、HSRP測(cè)試和全網(wǎng)測(cè)試、業(yè)務(wù)測(cè)試，做最后一次用戶(hù)連通性測(cè)試，OK，走人！
　　4、觀察階段。
　　第二天，某用戶(hù)報(bào)MPLS VPN網(wǎng)絡(luò)不通。
　　（注：割接過(guò)程不對(duì)用戶(hù)配置進(jìn)行修改！）
　　
　　二、故障現(xiàn)象
　　用戶(hù)報(bào)割接城市A到另外城市B的MPLS VPN業(yè)務(wù)中斷。
　　城市A的某用戶(hù)業(yè)務(wù)是通過(guò)CE設(shè)備以MPLS VPN的形式接入到城市A的PE路由器上（就是剛剛將的升級(jí)過(guò)的骨干路由器Cisco VXR 7206）的，同樣，城市B的某用戶(hù)業(yè)務(wù)是通過(guò)CE設(shè)備以MPLS VPN的形式接入到省骨干網(wǎng)相應(yīng)的PE路由器。
　　
　　故障現(xiàn)象是城市A的某用戶(hù)可以PING通城市A本地的PE路由器，城市A某用戶(hù)本地網(wǎng)絡(luò)連接無(wú)任何問(wèn)題，但不能PING通遠(yuǎn)端城市B的PE路由器的某用戶(hù)業(yè)務(wù)子接口。
　　
　　同樣城市B的某用戶(hù)可以PING通城市B本地的PE路由器，城市B某用戶(hù)本地網(wǎng)絡(luò)連接無(wú)任何問(wèn)題，但不能PING通遠(yuǎn)端城市A的PE路由器。
　　
　　最希奇的是：城市A某用戶(hù)業(yè)務(wù)所連接的PE路由器上，同時(shí)存在其他五個(gè)VPN的用戶(hù)，這五個(gè)VPN用戶(hù)網(wǎng)絡(luò)業(yè)務(wù)運(yùn)行完全正常。且其網(wǎng)絡(luò)業(yè)務(wù)的設(shè)置與某用戶(hù)業(yè)務(wù)的設(shè)置是同一類(lèi)型的。所有的VPN業(yè)務(wù)之間的命令比較，不多一句，不少一句。
　　某用戶(hù)VPN業(yè)務(wù)，城市A和城市B之間的VPN及ipV4的路由完全正常！
　　
　　三、排錯(cuò)過(guò)程
　　（1）故障的隔離
　　第一時(shí)間在城市A某用戶(hù)VPN所在的省骨干PE路由器上 Cisco 7206VXR上開(kāi)設(shè)邏輯端口Loopback1，并將Loopback1 劃入某用戶(hù)VPN，此時(shí)城市B某用戶(hù)VPN可以收到此Loopback 地址的路由，但仍然無(wú)法PING通該Loopback地址。因此可證實(shí)某用戶(hù)VPN的中斷不是新增的城域網(wǎng)設(shè)備引起的，問(wèn)題產(chǎn)生在省骨干路由器之間的MPLS交互進(jìn)程上。此時(shí)我們把所有的工作重點(diǎn)放在省骨干網(wǎng)之間的排錯(cuò)上。
　　（2）命令處理流程
　　主要的處理工作如下：
　　1. 在城市A的骨干路由器r2上使用命令show ip vrf 檢查mpls vpn的配置和RD的名字。發(fā)現(xiàn)都是正確的。使用命令show ip vrf detail vpn9:XXX.VPN和show ip vrf interface檢查某用戶(hù)vpn的路由屬性，和它的接口狀態(tài)和ip地址。發(fā)現(xiàn)都是正確的。使用命令show ip bgp neighbors/show ip bgp vpnv4 all /show ip bgp vpnv4 vrf vpn9:XXX.VPN檢查城市A和城市B兩PE間的BGP關(guān)系。發(fā)現(xiàn)都是正確的。
　　
　　2．在城市A的骨干路由器r2上使用命令show ip route vrf vpn9:XXX.VPN。可以看到vpn的路由是正確的，分別是一條直連的路由（城市A本地某用戶(hù)）和一條bgp的路由（城市B某用戶(hù)）。使用命令ping vrf vpn9:XXX.VPN 210.5.2.130 。測(cè)試城市A本地PE到城市A本地CE的聯(lián)通性。測(cè)試結(jié)果是通的。使用命令ping vrf vpn9:XXX.VPN X.X.X.X。測(cè)試城市A本地PE到城市BPE的聯(lián)通性。測(cè)試結(jié)果是ping不通。
　　
　　3．然后telnet到城市B的PE路由器上，使用命令show ip route vrf vpn9:XXX.VPN。可以看到vpn的路由是正確的，分別是一條直連的路由（城市B本地某用戶(hù)）和一條bgp的路由（城市A某用戶(hù)）。使用命令ping vrf vpn9:XXX.VPN 210.5.0.222 。測(cè)試城市B本地PE到城市B本地CE的聯(lián)通性。測(cè)試結(jié)果是通的。使用命令ping vrf vpn9:XXX.VPN 210.5.2.129.。測(cè)試城市BPE到城市A PE的聯(lián)通性。測(cè)試結(jié)果是ping不通。
　　
　　因?yàn)檫@個(gè)vpn兩端的路由都是正確的，而且在割接過(guò)程中沒(méi)有做任何的改動(dòng)。割接后的測(cè)試也是正常的。討論后得出初步結(jié)論，認(rèn)為問(wèn)題不是割接造成的。有可能是其他的原因引起。分析問(wèn)題的方向應(yīng)該和割接無(wú)關(guān)，重點(diǎn)在mpls vpn的方向。
　　
　　4．在城市A的骨干路由器r2上使用命令clear ip route vrf vpn9:XXX.VPN *，使用命令show ip route vrf vpn9:XXX.VPN可以看到vpn的路由已經(jīng)有變化，bgp路由（城市B某用戶(hù)）已經(jīng)消失。稍后使用命令show ip route vrf vpn9:XXX.VPN可以看到vpn的路由已經(jīng)有變化，除了直連的路由（城市A本地某用戶(hù)），一條bgp的路由（城市B某用戶(hù)）重新出現(xiàn)。在城市B的PE路由器上，使用命令show ip route vrf vpn9:XXX.VPN。可以看到vpn的路由是正確的，分別是一條直連的路由（城市B本地某用戶(hù)）和一條bgp路由（城市A某用戶(hù)）。在城市A的骨干路由器r2上使用命令ping vrf vpn9:XXX.VPN X.X.X.X。測(cè)試城市BPE到城市APE的聯(lián)通性。測(cè)試結(jié)果是ping不通。
　　
　　5．在城市B的PE路由器上使用命令clear ip route vrf vpn9:XXX.VPN *，使用命令show ip route vrf vpn9:XXX.VPN可以看到vpn的路由已經(jīng)有變化，bgp路由（城市A某用戶(hù)）已經(jīng)消失。稍后使用命令show ip route vrf vpn9:XXX.VPN可以看到vpn的路由已經(jīng)有變化，除了直連的路由（城市B本地某用戶(hù)），一條bgp的路由（城市A某用戶(hù)）重新出現(xiàn)。在城市A的骨干路由器r2上，使用命令show ip route vrf vpn9:XXX.VPN。可以看到vpn的路由是正確的，分別是一條直連的路由（城市B本地某用戶(hù)）和一條bgp路由（城市A某用戶(hù)）。在城市A的骨干路由器r2上使用命令ping vrf vpn9:XXX.VPN X.X.X.X。測(cè)試城市BPE到城市A PE的聯(lián)通性。測(cè)試結(jié)果是ping不通。
　　
　　6．在城市A的骨干路由器r2上某用戶(hù)的子端口上使用命令shutdown，使用命令show ip route vrf vpn9:XXX.VPN可以看到vpn的路由已經(jīng)有變化，直連的路由（城市A本地某用戶(hù)）已經(jīng)消失。使用no shutdown，使用命令show ip route vrf vpn9:XXX.VPN可以看到vpn的路由已經(jīng)有變化，直連的路由（城市A本地某用戶(hù)）重新出現(xiàn)，一條bgp的路由（城市B某用戶(hù)）仍然存在。在城市B的PE路由器上，使用命令show ip route vrf vpn9:XXX.VPN。可以看到vpn的路由是正確的，分別是一條直連的路由（城市B本地某用戶(hù)）和一條新學(xué)到的bgp路由（城市A某用戶(hù)）。在城市A的骨干路由器r2上使用命令ping vrf vpn9:XXX.VPN X.X.X.X。測(cè)試城市BPE到城市APE的聯(lián)通性。測(cè)試結(jié)果是ping不通。
　　
　　7．在城市B的PE路由器上某用戶(hù)的子端口上使用命令shutdown，使用命令show ip route vrf vpn9:XXX.VPN可以看到vpn的路由已經(jīng)有變化，直連的路由（城市B本地某用戶(hù)）已經(jīng)消失。使用no shutdown，使用命令show ip route vrf vpn9:XXX.VPN可以看到vpn的路由已經(jīng)有變化，直連的路由（城市B本地某用戶(hù)）重新出現(xiàn)，一條bgp的路由（城市A某用戶(hù)）仍然存在。在城市A的骨干路由器r2上，使用命令show ip route vrf vpn9:XXX.VPN。可以看到vpn的路由是正確的，分別是一條直連的路由（城市A本地某用戶(hù)）和一條新學(xué)到的bgp路由（城市B某用戶(hù)）。在城市A的骨干路由器r2上使用命令ping vrf vpn9:XXX.VPN X.X.X.X。測(cè)試城市BPE到城市A PE的聯(lián)通性。測(cè)試結(jié)果是ping不通。
　　
　　8．在城市A的骨干路由器r2上某用戶(hù)的子端口上使用命令去掉此vpn的配置命令。稍后使用原來(lái)的命令重新配置。配置完畢在r2上使用命令show ip route vrf vpn9:XXX.VPN可以看到正確的vpn路由，直連的路由（城市A本地某用戶(hù)）和一條bgp的路由（城市B某用戶(hù)）。在城市B的PE路由器上，使用命令show ip route vrf vpn9:XXX.VPN。可以看到vpn的路由是正確的，分別是一條直連的路由（城市B本地某用戶(hù)）和一條bgp的路由（城市A某用戶(hù)）。在r2上使用命令ping vrf vpn9:XXX.VPN X.X.X.X。測(cè)試城市BPE到城市APE的聯(lián)通性。測(cè)試結(jié)果是ping不通。
　　
　　9．在城市A的骨干路由器r2上某用戶(hù)的子端口上使用命令去掉此vpn的配置命令。使用原來(lái)的命令重新在城市A的骨干路由器r1配置。配置完畢在r1上使用命令show ip route vrf vpn9:XXX.VPN可以看到正確的vpn路由，直連的路由（城市A本地某用戶(hù)）和一條bgp的路由（城市B某用戶(hù)）。在城市B的PE路由器上，使用命令show ip route vrf vpn9:XXX.VPN。可以看到vpn的路由是正確的，分別是一條直連的路由（城市B本地某用戶(hù)）和一條bgp的路由（城市A某用戶(hù)）。在r1上使用命令ping vrf vpn9:XXX.VPN X.X.X.X。測(cè)試城市BPE到城市A PE的聯(lián)通性。測(cè)試結(jié)果是ping不通。為了穩(wěn)妥起見(jiàn)，我們又把某用戶(hù)vpn的配置重新挪回到r2上，并刪除r1的某用戶(hù)vpn配置。
　　
　　10．因?yàn)樵诟罱忧霸?jīng)升級(jí)了城市A的骨干路由器r1和r2的IOS軟件。考慮到有可能是IOS軟件BUG引起這個(gè)問(wèn)題。嘗試把r2路由器的IOS版本降級(jí)回原來(lái)使用的版本。在r2路由器上使用配置命令boot system Flash disk0:c7200-p-mz.120-17.ST1.bin，存盤(pán)后執(zhí)行命令reload。等r2路由器啟動(dòng)完畢。在r2上使用命令show ip route vrf vpn9:XXX.VPN可以看到正確的vpn路由，直連的路由（城市A本地某用戶(hù)）和一條bgp的路由（城市B某用戶(hù)）。在城市B的PE路由器上，使用命令show ip route vrf vpn9:XXX.VPN。可以看到vpn的路由是正確的，分別是一條直連的路由（城市B本地某用戶(hù)）和一條bgp的路由（城市A某用戶(hù)）。在r2上使用命令ping vrf vpn9:XXX.VPN X.X.X.X。測(cè)試城市BPE到城市APE的聯(lián)通性。測(cè)試結(jié)果是ping不通。
　　
　　11．重復(fù)步驟10的操作，改為使用其他的軟件版本。一共嘗試了3個(gè)軟件版本。軟件版本分別是：c7200-p-mz.122-11.T1.bin，c7200-p-mz.120-17.ST1.bin，c7200-p-mz.120-23.S1.bin
　　
　　12．在城市A的骨干路由器r2上使用命令show tag forwarding-table vrf vpn9:XXX.VPN X.X.X.X detail和命令show ip cef vrf vpn9:XXX.VPN X.X.X.X檢查城市B某用戶(hù)路由的標(biāo)簽。發(fā)現(xiàn)標(biāo)簽堆棧里只有一級(jí)標(biāo)簽。這個(gè)標(biāo)簽是城市B的PE路

上一篇：朗訊為軌道交通構(gòu)建多業(yè)務(wù)通信傳輸平臺(tái)

下一篇：BOSON NETSIM下載地址及破解圖解全攻略