[发明专利]一种物联网高维数据异常检测方法、系统、装置及介质

权利要求书

1.一种物联网高维数据异常检测方法，其特征在于，包括以下步骤：

获取物联网设备高维时间序列的历史数据；

对所述历史数据进行预处理，将预处理后的所述历史数据分为训练集、验证集、测试集；

对所述训练集进行采样，使用采样结果对多个深度自编码器进行训练；

修改所述训练集的采样概率，并返回对所述训练集进行采样，以及训练多个所述深度自编码器，直至达到迭代次数，获得集成深度自编码器；

将验证集输入集成深度自编码器进行计算，获得检测阈值；

将测试集的数据输入集成深度自编码器中计算异常得分，若异常得分低于检测阈值，将数据分类为正常；反之，将数据分类为异常。

2.根据权利要求1所述的一种物联网高维数据异常检测方法，其特征在于，所述物联网设备高维时间序列的历史数据包括时间信息、设备类型、设备参数、设备位置的多维度、多场景识别所用的特征数据。

3.根据权利要求1所述的一种物联网高维数据异常检测方法，其特征在于，所述对所述历史数据进行预处理，包括：

对所述历史数据进行缺失值补充处理、连续型数据离散化处理以及特征数据归一化处理；其中，采用以下公式对历史数据进行特征数据归一化处理：

式中，x_norm表示归一化后的样本数据，x表示样本数据，x_min表示所有样本数据的最小值，x_max表示所有样本数据的最大值。

4.根据权利要求1所述的一种物联网高维数据异常检测方法，其特征在于，所述修改所述训练集的采样概率，包括：

根据每个所述深度自编码器的重建误差对所述训练集的采样概率进行修改；

其中，所述采样概率采用以下公式计算获得：

式中，为第i+1次采样时使用的采样概率，为第i个深度自编码器对于样本x的重建误差，为第i个深度自编码器对训练集中所有样本的重建误差之和。

5.根据权利要求1所述的一种物联网高维数据异常检测方法，其特征在于，所述将验证集输入集成深度自编码器进行计算，获得检测阈值，包括：

将验证集输入集成深度自编码器进行计算，基于计算结果获取使所述验证集中异常检测性能指标F1值最大的检测阈值；

其中，异常检测性能指标F1值为精确率和召回率的调和均值，所述精确率是指所有被检测为异常的样本中实际标签为异常的比例，所述召回率是指被正确检测为异常的数据样本占所有异常数据样本的比例。

6.根据权利要求1所述的一种物联网高维数据异常检测方法，其特征在于，所述将测试集的数据输入集成深度自编码器中计算异常得分，包括：

根据每个所述深度自编码器的重建误差计算所述深度自编码器在异常得分中所占的权重；获取所述测试集的数据在各个所述深度自编码器上的重建误差，按照所述深度自编码器所占权重对所述重建误差进行线性相加，得到所述数据的异常得分。

7.根据权利要求6所述的一种物联网高维数据异常检测方法，其特征在于，所述权重通过以下公式计算获得：

其中，m是迭代次数，X是训练数据集。

8.一种物联网高维数据异常检测系统，其特征在于，包括：

数据获取模块，用于获取物联网设备高维时间序列的历史数据；

数据处理模块，用于对所述历史数据进行预处理，将预处理后的所述历史数据分为训练集、验证集、测试集；

采样训练模块，用于对所述训练集进行采样，使用采样结果对多个深度自编码器进行训练；

概率修改模块，用于修改所述训练集的采样概率，并返回对所述训练集进行采样，以及训练多个所述深度自编码器，直至达到迭代次数，获得集成深度自编码器；

阈值计算模块，用于将验证集输入集成深度自编码器进行计算，获得检测阈值；

数据分类模块，用于将测试集的数据输入集成深度自编码器中计算异常得分，若异常得分低于检测阈值，将数据分类为正常；反之，将数据分类为异常。