[发明专利]一种物联网高维数据异常检测方法、系统、装置及介质

说明书

本发明公开了一种物联网高维数据异常检测方法、系统、装置及介质，其中方法包括：获取历史数据；对历史数据进行预处理，将预处理后的历史数据分为训练集、验证集、测试集；对训练集进行采样，使用采样结果对多个深度自编码器进行训练；修改训练集的采样概率，并返回训练深度自编码器，获得集成深度自编码器；将验证集输入集成深度自编码器进行计算，获得检测阈值；将测试集的数据输入集成深度自编码器中计算异常得分，若异常得分低于检测阈值，将数据分类为正常；反之，将数据分类为异常。本发明在集成深度自编码器构建过程中，根据迭代中对训练集不同数据的重建误差调整其采样概率，提高拟合和泛化能力，可广泛应用于物联网异常检测技术。

技术领域

本发明涉及物联网异常检测技术，尤其涉及一种物联网高维数据异常检测方法、系统、装置及介质。

背景技术

物联网数据中的异常是数据集中明显与众不同的数据，这些数据是由不同的机制产生的，而非随机偏差。物联网系统中包含大量的监控设备和数据传输设备，当某些设备发生异常时会给整个物联网系统造成干扰。检测物联网数据集中的异常数据，对于物联网系统的故障定位、故障预测、故障解除具有重要意义。

深度自编码器是一种无监督的包含输入层、隐藏层、输出层的三层神经网络模型。深度自编码器将输入数据压缩为隐藏层的特征标识，并在输出层重建输入数据，使输出数据与输入数据尽可能一致。正常数据和异常数据在降维后的表示具有明显的差异，所以自编码器无法有效地重建异常数据，将导致更大的重建误差，以重建误差作为异常程度的评价指标。重建误差大于一定阈值的数据被认为是异常。深度自编码器被广泛用于异常检测，但因其存在过拟合的问题，限制了自编码器模型的泛化能力，降低了发现物联网异常数据的能力。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种物联网高维数据异常检测方法、系统、装置及介质。

本发明所采用的技术方案是：

一种物联网高维数据异常检测方法，包括以下步骤：

获取物联网设备高维时间序列的历史数据；

对所述历史数据进行预处理，将预处理后的所述历史数据分为训练集、验证集、测试集；

对所述训练集进行采样，使用采样结果对多个深度自编码器进行训练；

修改所述训练集的采样概率，并返回对所述训练集进行采样，以及训练多个所述深度自编码器，直至达到迭代次数，获得集成深度自编码器；

将验证集输入集成深度自编码器进行计算，获得检测阈值；

将测试集的数据输入集成深度自编码器中计算异常得分，若异常得分低于检测阈值，将数据分类为正常；反之，将数据分类为异常。

进一步，所述物联网设备高维时间序列的历史数据包括时间信息、设备类型、设备参数、设备位置的多维度、多场景识别所用的特征数据。

进一步，所述对所述历史数据进行预处理，包括：

对所述历史数据进行缺失值补充处理、连续型数据离散化处理以及特征数据归一化处理；其中，采用以下公式对历史数据进行特征数据归一化处理：

式中，x_norm表示归一化后的样本数据，x表示样本数据，x_min表示所有样本数据的最小值，x_max表示所有样本数据的最大值。

进一步，所述修改所述训练集的采样概率，包括：

根据每个所述深度自编码器的重建误差对所述训练集的采样概率进行修改；

其中，所述采样概率采用以下公式计算获得：