S5700因收到大量STP TC报文导致CPU冲高
2014/11/24 15:14:06点击:
问题描述
某用户反馈其企业网络中,其中一台S5700交换机,CPU异常,经常达到90%以上。
组网拓扑(故障设备为ZZXS57SW5F01-A4):

组网拓扑(故障设备为ZZXS57SW5F01-A4):
告警信息
查询设备CPU信息,设备最近曾出现CPU冲高记录
=====================================================
===============display cpu-usage===============
=====================================================
CPU Usage Stat. Cycle: 60 (Second)
CPU Usage : 18% Max: 97%
CPU Usage Stat. Time : 2014-10-07 11:19:29
CPU utilization for five seconds: 18%: one minute: 18%: five minutes: 18%
Max CPU Usage Stat. Time : 2014-09-11 16:37:54.
查询设备日志有大量TC报文日志产生:
Oct 7 2014 11:06:20-05:13 ZZXS57SW5F01-A4 %%01INFO/4/SUPPRESS_LOG(l)[15]:Last message repeated 1 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)
Oct 7 2014 11:05:19-05:13 ZZXS57SW5F01-A4 %%01INFO/4/SUPPRESS_LOG(l)[16]:Last message repeated 3 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)
Oct 7 2014 11:04:12-05:13 ZZXS57SW5F01-A4 %%01INFO/4/SUPPRESS_LOG(l)[17]:Last message repeated 3 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)
=====================================================
===============display cpu-usage===============
=====================================================
CPU Usage Stat. Cycle: 60 (Second)
CPU Usage : 18% Max: 97%
CPU Usage Stat. Time : 2014-10-07 11:19:29
CPU utilization for five seconds: 18%: one minute: 18%: five minutes: 18%
Max CPU Usage Stat. Time : 2014-09-11 16:37:54.
查询设备日志有大量TC报文日志产生:
Oct 7 2014 11:06:20-05:13 ZZXS57SW5F01-A4 %%01INFO/4/SUPPRESS_LOG(l)[15]:Last message repeated 1 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)
Oct 7 2014 11:05:19-05:13 ZZXS57SW5F01-A4 %%01INFO/4/SUPPRESS_LOG(l)[16]:Last message repeated 3 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)
Oct 7 2014 11:04:12-05:13 ZZXS57SW5F01-A4 %%01INFO/4/SUPPRESS_LOG(l)[17]:Last message repeated 3 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)
处理过程
1、因未在故障时采集信息,无法知道是具体那些进程冲高,怀疑为大量TC报文导致设备FTS类进程冲高,设备一直产生TC报文日志,首先确定此TC报文是本设备产生的,还是从其它设备收到的。使用display stp tc-bpdu statistics命令查询此TC报文是否是在本设备端产生,还是其它设备收到的。经查询该设备与核心B互连端口TC报文入方向一直增涨,且同时转发至其它接入层交换机。
[ZZXS57SW5F01-A4]display stp tc-bpdu statistics
-------------------------- STP TC/TCN information --------------------------
MSTID Port TC(Send/Receive) TCN(Send/Receive)
0 GigabitEthernet0/0/51 29272/63 0/0
0 GigabitEthernet0/0/52 3/18363 0/0
2、可以判定此TC报文不是本设备产生的,使用相同命令逐层排查TC报文入方向设备。确认此TC报文是在网络中的那一台设备上产生的。
核心B:
<ZZXS57SW0B-C2>display stp tc-bpdu statistics
-------------------------- STP TC/TCN information --------------------------
MSTID Port TC(Send/Receive) TCN(Send/Receive)
0 GigabitEthernet0/0/1 12495/13 0/0
0 GigabitEthernet0/0/2 135/8349 0/0
0 GigabitEthernet0/0/3 13430/19 0/0
0 GigabitEthernet0/0/4 13784/14 0/0
0 GigabitEthernet0/0/5 14200/17 0/0
0 GigabitEthernet0/0/6 14687/10 0/0
0 GigabitEthernet0/0/14 14164/16 0/0
0 GigabitEthernet0/0/15 14164/16 0/0
0 GigabitEthernet0/0/16 14625/12 0/0
0 Eth-Trunk1 11012/4 0/0
核心A:
<ZZXS57SW0A-C2>display stp tc-bpdu statistics
-------------------------- STP TC/TCN information --------------------------
MSTID Port TC(Send/Receive) TCN(Send/Receive)
0 GigabitEthernet0/0/1 16754/7 0/0
0 GigabitEthernet0/0/2 17112/1 0/0
0 GigabitEthernet0/0/3 17462/11 0/0
0 GigabitEthernet0/0/4 17793/4 0/0
0 GigabitEthernet0/0/5 18118/5 0/0
0 GigabitEthernet0/0/6 18415/3 0/0
0 GigabitEthernet0/0/14 17791/3 0/0
0 GigabitEthernet0/0/15 18113/6 0/0
0 GigabitEthernet0/0/16 18435/4 0/0
0 Eth-Trunk1 4/11010 0/0
接入ZZXS57SW5F02-A4
<ZZXS57SW5F02-A4>display stp tc-bpdu statistics
-------------------------- STP TC/TCN information --------------------------
MSTID Port TC(Send/Receive) TCN(Send/Receive)
0 GigabitEthernet0/0/51 63/29347 0/0
0 GigabitEthernet0/0/52 15/14712 0/0
3、当查询到其中一台接入设备时,发现其TC报文只有在出方向上不断有增涨计数,有此可见该TC报文为此设备产生,可使用display stp topology-change 查询该TC报文的信息。可以查询到该设备GigabitEthernet0/0/51端口不断由阻塞变为放开后,由于状态变为DETECTED而触发拓扑变化。
[ZZXS57SW5F02-A4]display stp topology-change
CIST topology change information
Number of topology changes :8561
Time since last topology change :0 days 0h:0m:19s
Topology change initiator(detected) :GigabitEthernet0/0/51
Topology change last received from :3400-a3e0-379c
Number of generated topologychange traps : 2615
Number of suppressed topologychange traps: 71
4、使用命令display interface brief查询该接入设备端口信息,发现该设备GigabitEthernet0/0/51端口入方向有大量错包,说明此接口入方向光纤线缆有问题,排查线缆故障后问题解决。
GigabitEthernet0/0/51 up up 0.01% 0.02% 38068638 0
根因
[ZZXS57SW5F01-A4]display stp tc-bpdu statistics
-------------------------- STP TC/TCN information --------------------------
MSTID Port TC(Send/Receive) TCN(Send/Receive)
0 GigabitEthernet0/0/51 29272/63 0/0
0 GigabitEthernet0/0/52 3/18363 0/0
2、可以判定此TC报文不是本设备产生的,使用相同命令逐层排查TC报文入方向设备。确认此TC报文是在网络中的那一台设备上产生的。
核心B:
<ZZXS57SW0B-C2>display stp tc-bpdu statistics
-------------------------- STP TC/TCN information --------------------------
MSTID Port TC(Send/Receive) TCN(Send/Receive)
0 GigabitEthernet0/0/1 12495/13 0/0
0 GigabitEthernet0/0/2 135/8349 0/0
0 GigabitEthernet0/0/3 13430/19 0/0
0 GigabitEthernet0/0/4 13784/14 0/0
0 GigabitEthernet0/0/5 14200/17 0/0
0 GigabitEthernet0/0/6 14687/10 0/0
0 GigabitEthernet0/0/14 14164/16 0/0
0 GigabitEthernet0/0/15 14164/16 0/0
0 GigabitEthernet0/0/16 14625/12 0/0
0 Eth-Trunk1 11012/4 0/0
核心A:
<ZZXS57SW0A-C2>display stp tc-bpdu statistics
-------------------------- STP TC/TCN information --------------------------
MSTID Port TC(Send/Receive) TCN(Send/Receive)
0 GigabitEthernet0/0/1 16754/7 0/0
0 GigabitEthernet0/0/2 17112/1 0/0
0 GigabitEthernet0/0/3 17462/11 0/0
0 GigabitEthernet0/0/4 17793/4 0/0
0 GigabitEthernet0/0/5 18118/5 0/0
0 GigabitEthernet0/0/6 18415/3 0/0
0 GigabitEthernet0/0/14 17791/3 0/0
0 GigabitEthernet0/0/15 18113/6 0/0
0 GigabitEthernet0/0/16 18435/4 0/0
0 Eth-Trunk1 4/11010 0/0
接入ZZXS57SW5F02-A4
<ZZXS57SW5F02-A4>display stp tc-bpdu statistics
-------------------------- STP TC/TCN information --------------------------
MSTID Port TC(Send/Receive) TCN(Send/Receive)
0 GigabitEthernet0/0/51 63/29347 0/0
0 GigabitEthernet0/0/52 15/14712 0/0
3、当查询到其中一台接入设备时,发现其TC报文只有在出方向上不断有增涨计数,有此可见该TC报文为此设备产生,可使用display stp topology-change 查询该TC报文的信息。可以查询到该设备GigabitEthernet0/0/51端口不断由阻塞变为放开后,由于状态变为DETECTED而触发拓扑变化。
[ZZXS57SW5F02-A4]display stp topology-change
CIST topology change information
Number of topology changes :8561
Time since last topology change :0 days 0h:0m:19s
Topology change initiator(detected) :GigabitEthernet0/0/51
Topology change last received from :3400-a3e0-379c
Number of generated topologychange traps : 2615
Number of suppressed topologychange traps: 71
4、使用命令display interface brief查询该接入设备端口信息,发现该设备GigabitEthernet0/0/51端口入方向有大量错包,说明此接口入方向光纤线缆有问题,排查线缆故障后问题解决。
GigabitEthernet0/0/51 up up 0.01% 0.02% 38068638 0
根因
STP组网中产与STP计算的设备互连端口因链路质量不好,导致设备STP频繁收敛,产生大量TC报文,导致收到此TC报文的设备部分CPU进程冲商,影响业务正常运行。
建议与总结
全局配置stp tc-protection
配置后可以保证设备频繁收到TC报文时,每2秒周期内最多只处理1次表项刷新。从而减少MAC、ARP表项频繁刷新对设备的造成的负担。
配置后可以保证设备频繁收到TC报文时,每2秒周期内最多只处理1次表项刷新。从而减少MAC、ARP表项频繁刷新对设备的造成的负担。
- 上一篇:S5700交换机配置SNMP团体名字符串长限制? 2014/11/24
- 下一篇:AR2200双链路出口配置VRRP与NQA联动切换不生效 2014/11/24