[发明专利]一种基于预筛选动态集成的电力调度监控数据异常检测方法

说明书

本发明实施例提出了一种基于预筛选动态集成的电力调度监控数据异常检测方法，包括：使用电力调度监控历史数据训练一定数量的基检测器；使用孤立森林方法对全部基检测器进行预筛选，筛选掉性能较差的基检测器；使用集成式KNN算法从历史数据中选择与待检测数据欧式距离较小的历史数据作为验证子集；使用最大值法根据筛选后剩余的基检测器在验证子集上的输出生成验证子集的假真值，计算基检测器在验证子集上的输出与假真值的皮尔逊相关系数；使用基于直方图的基检测器选择方法根据皮尔逊相关系数选择基检测器，平均所选基检测器的输出作为待检测数据的检测结果。本发明实施例提供的技术方案，能够提升电力调度监控数据异常检测的准确率。

【技术领域】

本发明涉及电力调度监控数据异常检测方法，尤其涉及一种基于预筛选动态集成的电力调度监控数据异常检测方法。

【背景技术】

统一坚强智能电网是以物理电网为基础，将现代先进的传感测量技术、通讯技术、信息技术、计算机技术和控制技术与物理电网高度集成而形成的新型电网，其包含发电、输电、变电、配电、用电和调度环节。在电力系统实际工作中，调度承担指挥、监督和管理电力生产运行的职能，是电力系统安全运行的重要保障。随着电网规模日益扩大，对电网安全稳定运行的要求也越来越高，电网调度监控数据的异常检测也愈显重要。由于监控系统在电网运行时会在短时间内产生大量监控数据，通过咨询专家等方式人工为这些数据全部标定正、异常标签几乎是不可能的。因此，这些存储的历史电网调度监控数据往往缺少准确的标签信息。所以，不需要使用训练数据标签信息的无监督异常检测方法能够较好地应对这种存储的历史数据缺少准确标签的情况。当前已有的基于动态集成的无监督异常检测方法中结合全部初始训练的基检测器生成的假真值会受到性能较差的基检测器的影响产生偏差，导致使用假真值为基准计算的基检测器得分不够准确，损害动态集成方法的整体性能。因此，提出一种通过预先剔除部分性能较差的基检测器来生成更加准确的假真值的动态集成异常检测方法，能够提高基于动态集成的电力调度监控数据异常检测方法的准确率，对于加强电网状态监测、保障电网安全有重要意义。

【发明内容】

有鉴于此，本发明提出了一种基于预筛选动态集成的电力调度监控数据异常检测方法，以提高电力调度监控数据异常检测的准确率。

本发明提出一种基于预筛选动态集成的电力调度监控数据异常检测方法，包括如下步骤：

(1)使用电力调度监控历史数据训练一定数量的基检测器，具体为：

将全部电力监控历史数据作为训练集S_train，基于训练集使用不同的无监督异常检测算法训练m个基检测器，一般取m≥50，记全部基检测器组成的基检测器池为Detector_all。每个基检测器的输出为异常分数，异常分数越大输入数据的异常程度越大。将Detector_all中每个基检测器输出的异常分数进行Z分数标准化转换为Z分数。

每个基检测器的输入为电力调度监控系统采集到的与电力调度系统业务相关的进程实时资源占用数据，包括进程CPU占用率、内存占用率、磁盘IO、网络IO、线程个数、网络连接数。第i个基检测器输出的Z分数为[min_i,max_i]范围内的数值，其中min_i和max_i的数值受基检测器本身影响不固定，输入数据为正常类的数值范围为输入数据为异常类的数值范围为将第i个基检测器在全部训练数据S_train上输出的Z分数从大到小排序，第i个基检测器的分类阈值为排序之后前con％个Z分数中的最小值；con％为设定的异常数据比例，一般取10％。

(2)使用孤立森林方法对全部基检测器进行预筛选，筛选掉性能较差的基检测器，具体为：