[发明专利]一种应用系统性能异常检测方法和系统

摘要

本发明涉及一种应用系统性能异常检测方法和系统，该系统包括流量采集模块、性能元数据索引模块、性能异常检测模块和性能异常定位模块，该方法如下：S1、采集应用系统原始流量数据；S2、对原始流量数据进行会话重组，采用ElasticSearch技术对性能元数据进行索引；S3、周期性计算各个应用系统的平均响应时间，构建应该响应时间基线数据模型，确定为应用性能异常；S4、通过性能元数据索引检索异常应用系统在故障时间点的所有性能元数据，通过性能元数据的IP信息确定故障点，并发出性能告警信息。本发明创新性的采用性能元数据技术，基于数据视角，采用大数据全文检索技术，对应用系统性能进行实时分析与关联性分析，从而对应用系统性能问题有全面的掌控。

主权项

1.一种应用系统性能异常检测系统，其特征在于:该系统包括流量采集模块、性能元数据索引模块、性能异常检测模块和性能异常定位模块，其中：流量采集模块:通过对应用系统所在网络的路由器或交换机的流量镜像，采集应用系统原始流量数据；性能元数据索引模块:对原始流量数据进行会话重组，针对各个会话计算会话请求处理阶段的响应时间，通过对会话发生时间、IP、端口、所属应用系统信息的分析，以类NetFlow格式构建会话性能元数据，采用ElasticSearch技术对性能元数据进行索引；性能异常检测模块:周期性计算各个应用系统的平均响应时间，构建应该响应时间基线数据模型，当应用系统当前平均响应时间与该应用的响应时间趋势模型偏离较大时，确定为应用性能异常；性能异常定位模块:通过性能元数据索引检索异常应用系统在故障时间点的所有性能元数据，各个会话响应时间进行排序获得性能最差会话，通过性能元数据的IP信息确定故障点，并发出性能告警信息；其中，所述性能元数据索引模块构建会话性能元数据的实现如下：对原始流量数据包进行IP分片重组和TCP会话重组；采用五元组确定会话，五元组是{源IP地址，源端口，目的IP地址，目的端口和传输层协议号}这五个量组成的一个集合，采用TCP头中的SequenceNumber来保证数据报文的顺序；会话是应用系统性能元数据的载体，重组后的会话为：S＝{S0，S1，S2，S3，S4，S5，......Sn}；计算各个会话请求响应时间，在会话重组过程中，会话Si包含的原始数据包序列为：P＝{P0，P1，P2，P3，P4，P5,......Pm}；其中，各个数据包发生的时间为：T＝{t1，t2，t3，t4，t5，t6，......tm}；因此，计算获得会话Si的响应时长为:rt＝tm‑t1；构建性能元数据，性能元数据表征了五元组相同的一组会话在计算周期内应用性能分析信息，其目的是分析某应用系统内客户端IP与服务端IP在某特点时间内的响应性能状态；性能元数据的数据格式设计为：性能元数据的计算采用聚合算法，聚合条件是五元组{源IP地址，源端口，目的IP地址，目的端口和传输层协议号；}聚合对象是计算周期内的会话序列，表征为：S＝{S0，S1，S2，S3，S4，S5，......Sn}该序列会话对应的响应时间为：RT＝{rt0，rt1，rt2，rt3，rt4，rt5,......rt_n}则，性能元数据计算为：元数据五元组信息与聚合条件五元组一致；报文总数包含报文个数；字节总数包含字节个数；最大响应时间rtmax＝MAX(rti)(0<＝i<＝n)；平均响应时间最小响应时间rtmin＝MIN(rti)(0<＝i<＝n)；应用系统id等于聚合条件五元组中目的IP所属的应用系统的id；以此，获得性能元数据序列为：R＝{r0，r1，r2，r3，r4，r5,......r_n}索引性能元数据，对性能元数据序列按照时间以增量方式向索引库添加数据，建立索引采用分布式检索工具ElasticSearch完成。