[发明专利]一种自动化构建异常检测模型的方法及系统

说明书

本发明提供了一种自动化构建异常检测模型的方法及系统，该系统包括服务端和设备端，该方法包括：设备端从监控的网络流量数据中实时采集指定KPI对应的KPI时间序列数据，并持续上传至服务端；服务端对KPI时间序列数据进行波形分类，得到指定KPI对应的波形分类结果，并下发至设备端；设备端根据指定KPI对应波形分类结果从算法库中动态匹配指定KPI对应的异常检测算法，并根据异常检测算法更新异常检测模型，异常检测模型用于在设备端对指定KPI对应的数据进行异常检测。利用上述方法，能够提高异常检测模型的构建效率及自适应程度。

技术领域

本发明属于网络流量监控领域，具体涉及一种自动化构建异常检测模型的方法及系统。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

数据中心网络有大量的KPI(Key Performance Indicator，关键性能指标)数据，比如网络流量中的TCP重传率、TCP上行比特率、TCP下载速率、TCP时延等等。通过对这些KPI数据进行实时监控和异常检测，不仅能够及时发现故障并发出告警，而且能够帮助运维人员进行准确的故障定位，支撑故障快速恢复。

然而，目前的KPI数据的实时监控和异常检测面临了两个问题：一是传统设置阈值监控的方式，其灵敏准确度已经无法满足现在的网络需求，通常需要借助人工智能技术训练智能模型以进行更灵敏精准的监控；二是网络领域的KPI数据种类繁多，不同业务场景下有不同的异常检测需求，建模技术门槛较高，难以无法满足大规模业务需求。

发明内容

针对上述现有技术中存在的问题，提出了一种自动化构建异常检测模型的方法及系统，利用这种方法、装置及计算机可读存储介质，能够解决上述问题。

本发明提供了以下方案。

第一方面，提供一种自动化构建异常检测模型的方法，应用于由服务端和设备端构成的系统，方法包括：设备端从监控的网络流量数据中实时采集指定KPI对应的KPI时间序列数据，并持续上传至服务端；服务端对KPI时间序列数据进行波形分类，得到指定KPI对应的波形分类结果，并下发至设备端；设备端根据指定KPI对应波形分类结果从算法库中动态匹配指定KPI对应的异常检测算法，并根据异常检测算法更新异常检测模型，异常检测模型用于在设备端对指定KPI对应的数据进行异常检测。

在一种实施例中，服务端对KPI时间序列数据进行波形分类，还包括：服务端预先提取指定KPI对应的历史KPI时间序列数据，并基于历史KPI时间序列数据训练得到指定KPI对应的时间序列分类模型；以及，服务端将KPI时间序列数据输入时间序列分类模型，得到指定KPI对应的波形分类结果。

在一种实施例中，服务端对KPI时间序列数据进行波形分类，还包括：服务端提取存储的指定KPI对应的全量KPI时间序列数据，并按采集时间进行排列；服务端提取全量KPI时间序列数据的波动趋势特征，根据波动趋势特征得到指定KPI对应的波形分类结果。

在一种实施例中，服务端提取存储的指定KPI对应的全量KPI时间序列数据之后，方法还包括：服务端对全量KPI时间序列数据进行数据预处理；数据预处理包括以下中的任意一种或多种：滤波去噪、缺失值填补操作。

在一种实施例中，对KPI时间序列数据进行波形分类，包括：提取KPI时间序列数据的序列特征，序列特征包括序列长度和/或序列极值，根据序列特征判断KPI时间序列数据的波形类别是否为少点型、低值型和直线型中的一种；和/或，对KPI时间序列数据进行相关性分析，相关性分析包括快速傅里叶变换和自相关计算，根据相关性分析结果判断KPI时间序列数据的波形类别是否为周期性；和/或，提取KPI时间序列的第一统计特征，根据第一统计特征判断KPI时间序列数据的波形类别是否为趋势型、震荡型和突变型中的一种，其中第一统计特征包括KPI时间序列数据的一阶差分值、二阶差分值、3Sigma值的一种或多种。