7

网络故障-端口镜像导致的流量广播_集成工程师学习数据库的技术博客_51CTO博客

 2 years ago
source link: https://blog.51cto.com/xiaozc/5331747
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

网络故障-端口镜像导致的流量广播

原创

在实施的一个安全项目中客户采购了多台安全设备,这些安全设备均需要进行旁路部署进行流量采集分析。熟悉网络的同行都比较清楚,一般核心交换机对于端口镜像是有限制的,目前主流核心交换机单板卡基本上都是以支持4组流量镜像为主(inbound方向和outbound方向算两组),为了解决观察口不足的问题,本案例中采用了通过远程观察端口进行内部环回广播得方式将核心流量镜像到安全设备,当镜像完成后一段时间发生了网络卡顿的现象,现模拟环境复现故障并将排查步骤进行记录分享。

1、镜像环境模拟配置

1.1、在核心交换机上配置远程观察端口,VLAN77为用于内部环回广播的VLAN,配置命令如下

[xiaozc]  observe-port 3 interface XGigabitEthernet1/0/31 vlan 77

1.2、配置用于报文广播的vlan,此vlan用于内部环回转发配置命令如下:

[xiaozc] vlan 77

1.3、配置远程观察口的详细参数,具体配置命令如下:

[xiaozc-XGigabitEthernet1/0/31] mac-address learning disable  

[xiaozc-XGigabitEthernet1/0/31] stp disable  

[xiaozc-XGigabitEthernet1/0/31] port link-type access

[xiaozc-XGigabitEthernet1/0/31] port default vlan 77 

[xiaozc-XGigabitEthernet1/0/31] loopback internal  

1.4、将所有连接需要采集流量的安全设备连接的端口加入到回环vlan,配置如下:

[xiaozc] interface XGigabitEthernet1/0/7

[xiaozc-XGigabitEthernet1/0/7]port link-type access                    

[xiaozc-XGigabitEthernet1/0/7]port default vlan 77                                                     

[xiaozc] interface XGigabitEthernet1/0/9         

[xiaozc-XGigabitEthernet1/0/9] port link-type access                    

[xiaozc-XGigabitEthernet1/0/9] port default vlan 77                

1.5、将镜像口的流量复制给观察口,配置命令如下:

[xiaozc] interface XGigabitEthernet1/0/10

[xiaozc-XGigabitEthernet1/0/10] port-mirroring to observe-port 3 both

[xiaozc] interface XGigabitEthernet1/0/13

[xiaozc-XGigabitEthernet1/0/13] port-mirroring to observe-port 3 both

[xiaozc] interface XGigabitEthernet1/0/37

[xiaozc-XGigabitEthernet1/0/37] port-mirroring to observe-port 3 both

1.6、查看镜像口配置

[xiaozc-XGigabitEthernet1/0/37]dis this

port link-type trunk

port trunk allow-pass vlan 2 to 4094

port-mirroring to observe-port 3 inbound

port-mirroring to observe-port 3 outbound

至此模拟环境配置基本完成,登录旁路设备发现设备已经可以捕获到流量并进行流量分析,大工告成了吗,其实才刚刚开始,配置完成一个小时不到分支机构发生业务卡顿,ping丢包率很高。

2、故障现象排查

2.1、首先想到是分支机构内部局域网环路导致,通过本部核心远程登录到分析核心交换机查看日志进行分析并没有捕获到环路的影子,在分支机构内部网络之间进行测试网络延迟以及丢包率都处于正常范围之内,由此排除了分支机构环路导致的故障。

2.2、分支机构到本部网络互联采用的是裸光纤直接连接,光纤质量问题也会有可能导致网络异常,登录核心交换机查看互联端口的收发光,收发光的阈值也处于正常范围之内,并没有异常。查看如下图:

网络故障-端口镜像导致的流量广播_实操

2.3、交换机性能不足也会导致网络延迟大,丢包多,可能是交换机性能问题导致,进行交换机的cpu利用率,内存利用率的查看,发现内存和cpu利用率均处于正常范围,如图:

网络故障-端口镜像导致的流量广播_vlan报文广播_02

2.4、对交换机日志进行分析,通过dis logbuffer发现异常日志,发现报文超过端口阈值有丢弃数据包,异常日志如下:

网络故障-端口镜像导致的流量广播_端口镜像_03

2.4、查看端口利用率,发现端口利用出方向和入方向的利用率竟然达到90%和86%,如下所示:

网络故障-端口镜像导致的流量广播_vlan裁剪_04

2.5、通过dis diag收集交换机诊断日志分析发现回环报文又在业务口进行广播,进一步分析交换机日志发现有端口存在trunk模式,允许了vlan77的报文通过。

3、解决办法

对trunk模式端口进行vlan裁剪,不允许vlan77的报文通过,配置命令如下:

[xiaozc] interface XGigabitEthernet1/0/37

[xiaozc-XGigabitEthernet1/0/37] undo port trunk allow-pass vlan 77

当把所有允许通过vlan 77的端口进行vlan裁剪后再次进行测试,故障现象消失,问题得到解决。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK