[发明专利]一种大规模不规则KPI时间序列异常检测方法

说明书

本发明公开了一种大规模不规则KPI时间序列异常检测方法，包括：步骤1.检测大规模KPI时间序列数据，判断其是否属于采样不规则数据；步骤2.对采样不规则数据进行数据处理；步骤3.检测处理后的数据，判断是否出现数据异常。

技术领域

本发明涉及计算机、通信网络运行维护技术领域，尤其涉及一种大规模不规则KPI时间序列异常检测方法。

背景技术

大型计算机、通信网络环境下，为了保证向海量用户提供可靠、高效的服务，互联网服务的运维人员通常会使用一些关键性能指标来监测这些应用的服务性能。比如，一个应用服务在单位时间内被访问的次数，单位时间交易量，闪退、网络带宽、内存量等，这些指标被称为KPI指标，海量KPI指标数据以时间为序构成KPI时间序列。系统运维过程中需要对海量KPI数据进行分析，以监测系统的异常。理想情况下，采样的KPI时间序列为规则数据，但是在现有网络环境中，采样时往往会出现大规模不规则KPI时间序列的情况，而现有技术不能直接处理这些拥有不规则类型的KPI，在处理之前，需要进行各种预处理，如截断、补零等，这些处理或多或少的会使处理结果的精度下降。也即，常用的KPI异常检测方法无法很好的处理这一类 KPI。另外来自不同服务器的KPI通常遵循不同的采样策略，而基于这些不同的策略，KPI之间可能会存在各种差异化，例如采样时段不同，采样间隔不同，采样单位不同等等；甚至同一服务器也会出现由于不可控力而产生的采样策略的调整，导致产生了分段KPI。这些因素都会导致普通异常检测方法无法直接处理这些数据集的集合。

为此，本发明提供了一种大规模不规则KPI时间序列异常检测方法，能够对不规则采样的海量KPI时间序列数据进行异常检测，从而为系统异常分析提供依据。

发明内容

为实现本发明之目的，采用以下技术方案予以实现：

一种大规模不规则KPI时间序列异常检测方法，包括：步骤1. 检测采样不规则的大规模KPI时间序列数据，判断其类型；步骤2. 对采样不规则数据进行异常检测，判断是否出现数据异常。

所述的检测方法，其中采用以下方式进行采样不规则数据的检测：

首先进行分段不规则KPI的判定：

对于一组N条KPI，若其中的任意一条KPI，①:如果其不满足则为分段不规则KPI；之后按照分段的时间点，将这一分段不规则KPI分段为2段或更多段KPI组，使其满足上述的条件，之后再对每组KPI分别判断其类型；②：若满足说明该KPI组不是分段不规则类型，也即该KPI组可以直接用后续方法判断其所属的类型，其中： I₁,I₂......I_N分别是这些KPI的采样间隔，i表示KPI时间序列的序号； t表示KPI时间序列中各个采样数据的采样时间戳；n_i为某一KPI序列的采样数量；

各类型的分段不规则KPI按如下方法判断：

I₁＝I₂＝...＝I_N且n₁,n₂...n_N不全部相等；则该组KPI为等间不等量 KPI。

I₁,I₂,...I_N不全部相等，则为不等间KPI。

I₁,I₂,...I_N不全部相等且I₁×n₁＝I₂×n₂＝...＝I_N×n_N，则为等时长不等间KPI。

所述的检测方法，其中对等间不等量KPI时间序列数据，按以下方式对其进行异常检测：