[发明专利]使用无监督深度神经网络的多维时序数据实时异常检测方法

说明书

本发明提供的一种使用无监督深度神经网络的多维时序数据实时异常检测方法可以分为两个阶段，分别为训练阶段和检测阶段。训练阶段需要利用历史采集的数据训练模型，拟合出符合这一应用场景的监测系统。在检测阶段，在真实数据产生之前，提前预测出接下来要到达的数据，根据真实到达的数据与预测数据之间的差异判断是否异常。一旦新到达的数据与预测数据之间的距离大于系统设定的阈值，判断该时刻采集的数据为异常数据，并发出异常提醒。本发明融合多种深度学习模型的优点，建立了一个自动实时检测多维时间序列中异常事件的模型。本发明具有很好的可扩展性，适用于多种场景下的多维时间序列异常检测。

技术领域

本发明涉及一种多维时间序列异常检测的方法。

背景技术

随着信息时代的到来，每天都会产生巨量的数据，这些数据中的一部分是时间序列数据。时间序列数据是按时间顺序在某个指标上每间隔一定的时间所采集的数据排列成的序列。序列中的每一个数据都与先前的数据相关，这类数据可以描述事物随时间的变化情况，能反映事物的发展趋势。在众多研究方向中，对多维时间序列异常检测的研究占据重要的地位。能否及时发现异常，解决异常关乎到生产、生活能否正常进行。近些年随着物联网的发展，我们能监测收集到更多的多维时间序列数据，由于异常随时可能产生严重的后果，那么对已收集到的数据进行整理分析可及时发现影响安全的因素，及时处理可能的影响因素，可以尽可能地减小损失。因此对多维时间序列异常检测方法做研究具有十分重要的现实意义。

实时的多维时间序列异常检测对现实生活中的安全生产、生活具有重要的意义。现在主流的异常检测方法包括基于传统统计的方法，基于机器学习的方法和深度学习的方法。基于传统统计的异常检测方法通常将时间序列数据当作数据集合分析其分布，这种技术需要事先获得全体数据，其无法实时判断异常，且存在不可避免的噪声。而机器学习中基于距离、密度，基于集成学习等技术无法获得时间序列数据之间的相关性。相对来说，深度学习模型更适用于多维时间序列的异常检测，它能自动捕获到时间序列之间的非线性关系，提供端到端的训练，不需要复杂的调参。但不同的深度学习模型只能针对不同的应用场景。

发明内容

本发明的目的是：融合了多种深度神经网络模型，使其在多维时间序列异常检测过程中既克服了传统统计方法受噪声影响的缺陷，又克服了机器学习方法中无法捕获序列之间相关性的缺点。

为了达到上述目的，本发明的技术方案是提供了一种使用无监督深度神经网络的多维时序数据实时异常检测方法，其特征在于，包括以下步骤：

步骤1、获得当前时刻之前设定时间段内的m组实时历史数据组，相邻实时历史数据组之间步长为w，每组实时历史数据组包含ω条实时历史数据，每条实时历史数据包含n个属性的实时历史属性数据；

获得当前时刻的一条新采集数据，该条新采集数据包含n个属性的新采集属性数据；

步骤2、计算每组实时历史数据组的相关性特征，得到每组实时历史数据组的相关性特征矩阵FM，相关性特征矩阵FM为n阶方阵，m个相关性特征矩阵FM组成长度为m的特征矩阵序列；

将最新的一条新采集数据看作一个大小为n×1的一维矩阵，用计算相关性特征的方法计算这个一维矩阵的特征矩阵，得到自身特征矩阵SFM，该自身特征矩阵SFM为n阶方阵；

步骤3、将特征矩阵序列输入提取特征重建数据模块，提取特征重建数据模块使用四层卷积神经网络作为特征提取器，为每一层卷积神经网络增加一层专门处理时间序列数据的LSTM网络结构，对每一层LSTM网络结构输出的特征提取矩阵进行重构获得重构矩阵，每一层重构矩阵的大小与当前一层LSTM网络结构输出的特征提取矩阵大小一致，所有重构矩阵构成了重构矩阵序列，该重构矩阵序列为特征提取器的输出，且重构矩阵序列的大小与输入的特征矩阵序列的大小一致；

提取特征重建数据模块将重构矩阵序列作为一线性回归的输入，线性回归的输出为预测采集数据，该预测采集数据的表现形式为n阶方阵PSFM；