[发明专利]基于马尔可夫过程的时间序列流数据异常检测方法

说明书

本发明公开了一种基于马尔可夫过程的时间序列流数据异常检测方法，本发明包括如下步骤：S1、选择训练数据流；S2、通过LPP算法对所述训练数据流降维；S3、通过基于肘部策略的K‑Means聚类算法确定当前的模式类别，并将所述训练数据流进行模式划分；S4、构建基于马尔可夫的异常检测模型，S5、将待测试数据处理后输入到所述马尔可夫异常检测模型中，输出异常检测结果。本发明的方法基于对对时间序列流数据进行聚类，将数据分为不同的模式构建了基于马尔可夫的异常检测模型，在该模型中，将不同模式间的正常转换认定为概念漂移，只有不可能发生的模式转换才被认定为发生异常，该模型与时间序列流数据的分布规律更加稳定，检测准确率也就更高。

技术领域

本发明涉及统计学技术领域，具体地说是一种基于马尔可夫过程的时间序列流数据异常检测方法。

背景技术

随着网络时代的发展和数据生成的变化，数据在不断地变化。在各个领域中，经常以时间序列流数据的形式出现，例如地震监测、大气环境监测、网络监测等领域。时间序列流数据的生成速度快、数据量大，且维度高。在时间序列流数据中进行异常检测是一个迫切需要解决的重要问题。然而,传统的异常检测方法只关注静态数据，导致了潜在的局限性。因此，对时间序列流数据异常检测方法的研究具有重要的意义。此外，时间序列流数据中的分布变化表明可能存在异常模式或正常模式之间的转换，这种转换称为“概念漂移”。“概念漂移”地存在为流数据中异常检测带来了挑战。

通过检索现有公开的时间序列流数据异常检测方法的文献中，存在下列两篇论文：

1、F.Angiulli,F.Fassetti.Distance-based outlier queries in datastreams:the novel task and algorithms[J].Data Mining and Knowledge Discovery,2010,20(2):290–324.

2、B.Scholkopf,J.C.Platt,J.Shawe-Taylor,et al.Estimating the supportof a highdimensional distribution[J].Neural computation,2001,13(7):1443–1471.

本时间序列流数据中基于假设“时间上越相近的数据对当前数据的异常检测就越重要”，文献1中考虑设置滑动时间窗口来存储窗口内的数据，并通过窗口内的数据来计算的当前数据是否异常。而文献2中，通过损失控制检测边界的紧密性异常检测。上述检测方法均忽略了概念漂移的问题，不适用于具有概念漂移的流数据的异常检测。

发明内容

本发明的目的是针对以上不足，提供一种基于马尔可夫过程的时间序列流数据异常检测方法，用于检测存在概念漂移的时间序列流数据异常检测方法。

本发明所采用技术方案是：

一种基于马尔可夫过程的时间序列流数据异常检测方法，包括如下步骤：

S1、选择训练数据流；

S2、通过局部保持投影算法对所述训练数据流降维；

S3、通过基于肘部策略的K-Means聚类算法确定当前的模式类别，并将所述训练数据流进行模式划分；

S4、构建基于马尔可夫的异常检测模型；

S5、将待测试数据处理后输入到所述马尔可夫异常检测模型中，输出异常检测结果。

作为进一步的优化，本发明步骤S2中，所述通过局部保持投影算法对所述训练数据流降维的过程包括如下步骤：

S201、定义训练数据流Rⁿ中的样本数据为其中，t代表时间戳，n代表数据维度；

S202、构建训练数据集的目标函数：