城域网割接及割接引起业务中断的案例整理分析 …

8．在城市A的骨干路由器r2上某用户的子端口上使用命令去掉此vpn的配置命令。稍后使用原来的命令重新配置。配置完毕在r2上使用命令show ip route vrf vpn9:XXX.VPN可以看到正确的vpn路由，直连的路由（城市A本地某用户）和一条bgp的路由（城市B某用户）。在城市B的PE路由器上，使用命令show ip route vrf vpn9:XXX.VPN。可以看到vpn的路由是正确的，分别是一条直连的路由（城市B本地某用户）和一条bgp的路由（城市A某用户）。在r2上使用命令ping vrf vpn9:XXX.VPN X.X.X.X。测试城市BPE到城市APE的联通性。测试结果是ping不通。

9．在城市A的骨干路由器r2上某用户的子端口上使用命令去掉此vpn的配置命令。使用原来的命令重新在城市A的骨干路由器r1配置。配置完毕在r1上使用命令show ip route vrf vpn9:XXX.VPN可以看到正确的vpn路由，直连的路由（城市A本地某用户）和一条bgp的路由（城市B某用户）。在城市B的PE路由器上，使用命令show ip route vrf vpn9:XXX.VPN。可以看到vpn的路由是正确的，分别是一条直连的路由（城市B本地某用户）和一条bgp的路由（城市A某用户）。在r1上使用命令ping vrf vpn9:XXX.VPN X.X.X.X。测试城市BPE到城市A PE的联通性。测试结果是ping不通。为了稳妥起见，我们又把某用户vpn的配置重新挪回到r2上，并删除r1的某用户vpn配置。

10．因为在割接前曾经升级了城市A的骨干路由器r1和r2的IOS软件。考虑到有可能是IOS软件BUG引起这个问题。尝试把r2路由器的IOS版本降级回原来使用的版本。在r2路由器上使用配置命令boot system flash disk0:c7200-p-mz.120-17.ST1.bin，存盘后执行命令reload。等r2路由器启动完毕。在r2上使用命令show ip route vrf vpn9:XXX.VPN可以看到正确的vpn路由，直连的路由（城市A本地某用户）和一条bgp的路由（城市B某用户）。在城市B的PE路由器上，使用命令show ip route vrf vpn9:XXX.VPN。可以看到vpn的路由是正确的，分别是一条直连的路由（城市B本地某用户）和一条bgp的路由（城市A某用户）。在r2上使用命令ping vrf vpn9:XXX.VPN X.X.X.X。测试城市BPE到城市APE的联通性。测试结果是ping不通。

11．重复步骤10的操作，改为使用其他的软件版本。一共尝试了3个软件版本。软件版本分别是：c7200-p-mz.122-11.T1.bin，c7200-p-mz.120-17.ST1.bin，c7200-p-mz.120-23.S1.bin

12．在城市A的骨干路由器r2上使用命令show tag forwarding-table vrf vpn9:XXX.VPN X.X.X.X detail和命令show ip cef vrf vpn9:XXX.VPN X.X.X.X检查城市B某用户路由的标签。发现标签堆栈里只有一级标签。这个标签是城市B的PE路由器分发的关于城市B某用户路由的标签。但是缺少了和城市A PE直连的P路由器分发的mpls标签。这会导致城市A的PE不懂如何转发mpls数据帧到mpls骨干，也就是P路由器。最终的结果是导致某用户在城市A和城市B的vpn不通。

13．在城市A的r2上使用命令clear ip bgp *，稍后再使用命令show tag forwarding-table vrf vpn9:XXX.VPN X.X.X.X detail和命令show ip cef vrf vpn9:XXX.VPN X.X.X.X检查城市B某用户路由的标签。发现标签堆栈里仍然只有一级标签。

14．重复13的操作接近10次，在这过程中也曾经使用show tech命令去检查r2的各种状态信息，但是没有任何异常。在大概15点00分，突然发现show tag forwarding-table vrf vpn9:XXX.VPN X.X.X.X detail和命令show ip cef vrf vpn9:XXX.VPN X.X.X.X的输出显示城市B某用户路由的标签堆栈里有了两级标签。在r2上使用命令ping vrf vpn9:XXX.VPN X.X.X.X。测试城市BPE到城市APE的联通性。测试结果是ping不通。

15．在城市A的骨干路由器r2上使用命令show tag forwarding-table vrf vpn9:XXX.VPN X.X.X.X detail和命令show ip cef vrf vpn9:XXX.VPN X.X.X.X检查城市B某用户路由的标签。同时在城市B的PE路由器上使用命令show tag forwarding-table vrf vpn9:XXX.VPN X.X.X.X detail。发现问题所在，城市B的PE路由器对城市B某用户的路由的标签在分发到城市A的PE路由器上后标签值不一致。导致城市A PE分发的MPLS数据包到达城市BPE路由器时，城市BPE路由器不知道该怎么处理，因为城市A传输过来的数据的标签并不是城市BPE分发的。所以城市BPE路由器只能把它丢弃。导致网络不通。

16．在城市B的PE路由器上使用命令clear ip bgp *，稍后在城市A的骨干路由器r2上使用命令show tag forwarding-table vrf vpn9:XXX.VPN X.X.X.X detail和命令show ip cef vrf vpn9:XXX.VPN X.X.X.X检查城市B某用户路由的标签。同时在城市B的PE路由器上使用命令show tag forwarding-table vrf vpn9:XXX.VPN *.*.*.* detail。发现标签仍然不匹配。

17．在城市B的PE路由器上某用户的子端口上使用命令no ip address，稍后重新配置原来的ip地址。稍后在城市A的骨干路由器r2上使用命令show tag forwarding-table vrf vpn9:XXX.VPN X.X.X.X detail和命令show ip cef vrf vpn9:XXX.VPN X.X.X.X检查城市B某用户路由的标签。同时在城市B的PE路由器上使用命令show tag forwarding-table vrf vpn9:XXX.VPN 210.5.2.129detail。发现标签仍然不匹配。

18．重复16的操作。但是结果仍然是标签不匹配。

认为应该是CISCO IOS的软件BUG引起的问题。但是不能通过象clear ip bgp * ,no ip address 等手段解决。在CISCO寻求帮助。

19． Cisco负责支持项目的工程师，也说不出所以然的理由；在跟Cisco工程师的电话沟通的同时，我们仍旧在做尝试，在城市A的骨干路由器r2上某用户的子端口上使用命令去掉此vpn的配置命令。使用原来的命令重新在城市A的骨干路由器r1配置。配置完毕在r1上使用命令show tag forwarding-table vrf vpn9:XXX.VPN X.X.X.X detail和命令show ip cef vrf vpn9:XXX.VPN X.X.X.X检查城市B某用户路由的标签。同时在城市B的PE路由器上使用命令show tag forwarding-table vrf vpn9:XXX.VPN *.*.*.* detail。发现标签是匹配的。在r1上使用命令ping vrf vpn9:XXX.VPN X.X.X.X。测试城市BPE到城市APE的联通性。测试结果是ping通。
20. 全面的网络测试， 类似问题没有产生！

四、故障的具体技术分析

在发生故障的当时我们分别检查了城市A和城市B PE路由器上的路由表。在城市A的PE路由器上发现某用户VPN的路由是正确的。同时在城市B的PE上也发现某用户VPN的路由是正确的。也就是说城市A城市B某用户两端的路由都是正确的。

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有