[发明专利]一种时间序列中不定长的异常子序列检测方法

说明书

本发明提供了一种时间序列中不定长的异常子序列检测方法，在异常子序列的定义采用K近邻距离的均值/中位数，在子序列距离计算基于STOMP算法进行了并行优化，在算法参数设置用输入子序列长度范围和步长，在算法输出直接输出各个长度下的异常子序列检测结果，从中发现不同的异常点，也能够基于上述检测结果和一定的评价指标输出异常程度分值以及判断得到的异常子序列结果。所述时间序列中不定长的异常子序列检测方法能够显著提升时间序列异常子序列检测的运行效率和检测准确率。

技术领域

本发明涉及一种数据挖掘算法领域中的时间序列异常检测，尤其是涉及一种时间序列中不定长的异常子序列检测方法。

背景技术

目前异常检测作为一个广泛的技术领域，已经在大量的实际场景中得到了应用，并且对于不同的业务领域和数据类型，通常需要应用不同类型的专用技术方法。时间序列异常检测是针对按时间排布的数据中的离群值进行识别，它可以在非常多的应用领域中发挥作用，例如：在金融市场中，检测股票市场的突然变化、或特定时间窗口内的异常模式；系统运行诊断方面，可以用于监控设备运行状况、检测异常入侵等；在生物领域，由于氨基酸的排列与时间序列数据特征类似，也可以应用时间序列方面的检测方法。由于不同领域产生的数据特征和提出的业务需求不同，时间序列异常检测领域也发展出了众多不同的方法：从数据维度上看，可以分为单序列和多维度数据异常检测方法；从异常定义上看，可以分为数据点异常和窗口异常检测；从算法实现角度，又可以分为有监督和无监督的异常检测算法。

目前研究和应用较多的时间序列异常检测算法大多是针对单个数据点异常进行检测，即输出时间序列中每个数据点的异常概率，进而通过设置阈值来判断数据点是否属于异常，这类方法主要针对时间序列中单独出现的异常(例如心电图数据中一次异常跳动)进行检测。然而在实际应用场景中，往往需要对持续一段时间的模式异常(例如心律失常症状下心电图的模式异常)进行识别，此时使用异常子序列检测算法是更优的选择。

给定一个长度为n时间序列数据，一段长度为L、起始位置为i的子序列可以表示为。目前普遍使用的异常子序列的定义为：时间序列T中拥有最大的最近邻距离的子序列，即对于子序列D以及任意的子序列C，以及相应的非重叠子序列集合M_D和M_C，若，则子序列D为时间序列T中的异常子序列。最基础的定义中使用欧氏距离衡量两条时间序列的距离，在实际应用中可以使用其他合理的距离度量；另外其对于异常子序列的定义也可以很轻易地拓展到输出多个异常子序列。

然而，异常子序列的检测还面临计算效率低、参数依赖、相似异常识别等方面的困难。首先是计算效率方面，根据上文所述的异常子序列定义，最直接的实现方式即是通过循环计算每两个子序列之间的距离，从中提取异常子序列，而这种算法的时间复杂度为(其中n为时间序列长度，m为子序列长度)，并且往往时间序列数据的长度较大，因此基于蛮力的算法几乎是无法完成的。近年来有许多研究针对这一问题，通过将时间序列降维表示和预排序、或者通过设定距离阈值等方式，提出了各种改进效率的算法。其中前者多为启发式算法，实际计算效率与多个参数的设置、实际数据特征情况均有较强的关联，当参数设置不当或数据分布不满足预期时，算法的效率可能会降低到；后者通过设定阈值的方式对距离计算过程进行剪枝，同样对该阈值的设定有很强的依赖性，阈值设置不合理会导致算法失败(无法返回任何异常子序列)或效率降低到，并且该阈值很难通过事前经验进行估计。Yeh等人(2018)提出了一种突破性的算法STOMP，其核心在于通过快速傅里叶变换和移动点积的方法，极大的优化了子序列两两之间的距离计算效率，并且计算过程不依赖于其他参数的设定或数据的分布特征，使得在大规模数据集上计算距离成为可行且可预估的。