[发明专利]一种监测指标异常值的自动分析方法

说明书

本发明公开了一种监测指标异常值的自动分析方法，包括：采集监测主体的历史指标数据信息以及实时指标数据信息，并对所采集的数据信息进行预处理；构建异常值识别分析模型，利用预处理后的历史指标数据信息对所述异常值识别分析模型进行训练及测试，得到训练好的异常值识别分析模型；将所述实时指标数据信息输入所述训练好的异常值识别分析模型，根据输出值判断所述实时指标数据信息是否存在异常值，实现指标异常值的自动分析。本发明利用较少的历史数据即可进行准确判断，且可以根据数据的增加自动调整判断依据。

技术领域

本发明涉及数据分析的技术领域，尤其涉及一种监测指标异常值的自动分析方法。

背景技术

对于指标异常的判断最早的实现方式是进行固定阈值超限判断，后来经过历史数据的统计学分析来进行判断，例如：超过平均值的10％的区间即判断成异常数据，后来引入更多更复杂的统计学算法，方差等等形式的各种复杂处理方式，在近几年，根据历史数据的机器学习手段也层出不穷。

固定阈值法好处是不受历史数据数量限制，不足的地方是不能根据实际情况做出调整。

统计学的方法比较呆板，不能应付突发情况以及随情况的不同而调整。

机器学习动辄需要成千上万条数据，在小数据指标的情况下不能进行准确的判断，并且各个历史数据是平等的关系，不能描述趋势。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的技术问题是：固定阈值法好处是不受历史数据数量限制，不足的地方是不能根据实际情况做出调整；统计学的方法比较呆板，不能应付突发情况以及随情况的不同而调整；机器学习动辄需要成千上万条数据，在小数据指标的情况下不能进行准确的判断，并且各个历史数据是平等的关系，不能描述趋势。

为解决上述技术问题，本发明提供如下技术方案：采集监测主体的历史指标数据信息以及实时指标数据信息，并对所采集的数据信息进行预处理；构建异常值识别分析模型，利用预处理后的历史指标数据信息对所述异常值识别分析模型进行训练及测试，得到训练好的异常值识别分析模型；将所述实时指标数据信息输入所述训练好的异常值识别分析模型，根据输出值判断所述实时指标数据信息是否存在异常值，实现指标异常值的自动分析。

作为本发明所述的监测指标异常值的自动分析方法的一种优选方案，其中：所述监测主体的数据信息包括根据设置的测点进行周期性读取得到的数据信息。

作为本发明所述的监测指标异常值的自动分析方法的一种优选方案，其中：对所述采集的数据信息进行预处理包括，去除唯一属性；处理缺失值：删除含有缺失值的特征或缺失值补全；特征编码：特征二元化及独热编码；数据标准化、正则化；特征选择：从给定的特征集合中选出相关特征子集。

作为本发明所述的监测指标异常值的自动分析方法的一种优选方案，其中：所述数据标准化、正则化的计算公式包括，数据标准化：

数据正则化：

定义样本数据集

对所述样本数据集计算Lp范数：

其正则化后的结果为每个属性值除以其Lp范数：