[发明专利]一种动态周期时序的无监督异常检测方法

说明书

本发明公开了一种动态周期时序的无监督异常检测方法，包括以下步骤：S1：对输入时序进行预处理，包括去重、缺失填充和标准化；S2：使用随机周期探测森林算法将预处理后的时序切分为若干个已知周期长度的周期段和非周期段；S3：对若干个周期段采用STL时序分解算法，得到趋势分量、季节分量和残差分量；S4：对残差分量使用分位数阈值进行检测，得到周期性异常时序；S5：对非周期段使用孤立森林算法进行无监督幅值异常检测，得到非周期性异常时序；S6：合并周期性异常时序和非周期性异常时序，得到最终的异常检测结果。本方法能够实现对动态周期时序进行快速、精准的周期分段，能显著提升异常检测的准确度。

技术领域

本发明涉及机器学习中无监督时序异常检测领域，尤其是涉及一种动态周期时序的无监督异常检测方法。

背景技术

异常检测是数据安全领域的一个重要分支，其定义是从正常的时间序列中识别不正常的事件或行为的过程。企业使用异常检测技术可以对网络数据、用户敏感访问和操作进行实时监测，当发现异常时，及时采取措施最终保障信息安全、减少企业损失。

现有的无监督异常检测技术主要分为以下几类：

一、基于简单分布的方法：代表方法有3-sigma原则、1.5IQR原则，该类方法优势在于计算足够简单，缺陷在于需要输入尽可能满足正态分布的假设，否则异常的比例将会失控。

二、基于无监督学习的各类方法：基于距离，代表方法有KNN；基于密度，代表方法有LOF、COF等；基于聚类，代表方法有DBSCAN，基于树，代表方法有孤立森林；基于降维重建，代表方法有PCA、Auto-Encoder；基于累积分布，代表方法有ECOD。这些类别的方法在思想上各不相同，所以优势各不相同，有些具有很好的解释性，有些具有较好的检测准确度，但缺陷是都没有考虑到时间维度上的信息，无法检测出时序中的异常表现，如上下文异常、趋势异常、周期异常等。

三、基于时序自回归的方法：代表方法有移动平均、ARIMA、fbprophet、LSTM、Transformer等，通过时序自回归的方式进行自监督学习，因为正常时序更容易被模型所归纳，所以异常时序的预测偏差往往较大；基于深度网络的模型如LSTM、Transformer也可以抽取网络中的时序高阶特征，通过降维聚类的方法来分析异常时序。这类方法的优势在于考虑到时间维度的信息，但缺陷也很显著，检测效果取决于模型学习和归纳正常时序的好坏。面对真实系统中错综复杂的时序输入，难以保证模型能够完美的学习和归纳。根据实验，即使是Transformer及其衍生模型也很难做到对稀疏周期型时序的准确预测。

四、基于时序季节性分解的方法：代表方法有Holt-Winters、STL等，它们将时序提取出趋势分量、季节分量，再对残差分量进行异常检测。该方法的优势是针对时序的趋势性和季节性建模和异常检测，有着很好的指向性和准确度，而且趋势型异常和周期型异常是时序异常检测领域中特别关注的异常类型。该方法的劣势在于，必须知道时序的周期长度才能应用该类方法，其次，真实系统中的时序往往存在动态周期的情况：具体的，动态周期是指一个时序可能由天周期突然转换至周周期，而后又突然转换至非周期。显然，直接对时序使用季节性分解方法进行异常检测将带来灾难性的检测效果。一个容易想到的思路是：将时序按不同周期分段，然后再对这些周期段分别做检测。然而，如何精准的周期分段成为一个核心的难题，且目前鲜有研究对这个难题做出过解答。

发明内容

针对现有技术存在的问题，本发明的目的在于综合考量上述基于简单分布、无监督学习、时序自回归、时序季节性分解方法的优势和劣势，且发明了一种新的算法——随机周期探测森林，实现了一种动态周期时序的无监督异常检测方法，能够实现对动态周期时序进行快速、精准的周期分段，能显著提升异常检测的准确度。

为实现上述目的，本发明提供一种动态周期时序的无监督异常检测方法，所述方法包括以下步骤：

S1.对输入时序进行预处理，包括去重、缺失填充和标准化；