[发明专利]一种基于二次检测法的电力负荷异常数据检测方法及系统

说明书

本发明实施例公开了一种基于二次检测法的电力负荷异常数据检测方法及系统，本发明的方法包括：获取某地区电力负荷历史数据；建立基于网格化搜索设置参数的DBSCAN异常检测模型对样本进行聚类并标注簇外异常点；对聚类出的各簇建立iForest‑MIE异常检测模型将各簇内不满足阈值的样本点标注为异常值；汇总两个模型所得的簇内外异常数据并修正以供后续负荷预测。本发明技术方案能够通过DBSCAN和iForest‑MIE异常检测模型进行两次检测分别识别簇外和簇内异常值，能够更加准确地识别出数据集中的所有异常值，修正后能在后续的负荷预测中得到更准确的结果。

技术领域

本发明实施例涉及电力负荷异常数据检测技术领域，具体涉及一种基于二次检测法的电力负荷异常数据检测方法及系统。

背景技术

根据检测原理的不同，异常检测模型可以分为基于统计的数学方法、基于距离的聚类算法以及基于机器学习的方法。传统的异常检测通常采用基于统计的数学方法，通过人为经验、状态估计和专家系统来进行。专家根据已有的调度经验对时间序列数据进行分析，判断是否存在数据异常，这种方式具有明显的主观性并且不具备规范性，无法形成系统科学的判别方法。基于状态估计的方法相对其它传统的异常检测方法应用较为普遍，其根据时序数据残差的概率分布来判定该数据是否为异常值。常见的状态估计方法主要包括估识检测、非二次准则检测和残差搜索检测等。但是这些方法存在计算复杂而且准确率较低的问题，容易造成数据遗漏和误判。随着云平台和优化算法的不断发展，机器学习理论因泛化性强、识别准确度高等优点在异常检测领域的应用逐渐推广，按照机器学习的模式不同主要可以分为以下几种：

(1)有监督学习，基于有监督学习的异常检测需要有标注的数据集，在模型训练前首先对电力负荷数据进行状态标记，即标注是否为异常，随后将标注好的数据输入到模型中进行训练。基于有监督学习的异常检测本质是机器学习中的一种分类任务，机器学习中常用的分类算法理论上都适用于异常检测。

(2)半监督学习，半监督学习是针对部分有标签的数据集进行的学习，是一种边学习边标注的模型。基于半监督学习的模型异常检测分为两个过程，首先在有标签的数据上进行训练，过程与有监督学习类似；随后模型应用在无标记的数据中进行检测，选择其中可信度高的数据参与训练和学习，直到数据集都已加入训练。但在异常检测任务中，数据的标签值的获取和正异数据数量分布不均匀导致半监督学习对数据的要求较高。

(3)无监督学习，基于无监督学习的时序异常检测模型一般通过基于距离计算或者密度分析进行聚类。无监督学习训练时不需要提前对数据进行标记，而是计算数据之间的距离或者密度从而形成簇，将不属于簇的数据标记为异常点。在缺乏足够的先验知识，无法对数据进行标记时使用无监督学习算法是较好的选择。

发明内容

本发明实施例提供一种基于二次检测法的电力负荷异常数据检测方法及系统，通过采用基于无监督学习的DBSCAN聚类和iForest-MIE模型对数据进行二次异常检测，能够避免单一无监督学习模型对异常值的漏检和误检，确保异常检测的全面性，将检测到的错误数据修正后，可更加准确地进行下一步的电力负荷预测工作。

根据本发明实施例的第一方面，提出了一种基于二次检测法的电力负荷异常数据检测方法，所述方法包括：

获取某地区电力负荷历史数据；

网格化搜索设置参数建立DBSCAN异常检测模型；

使用DBSCAN模型对数据进行聚类并标注簇外异常数据；

对DBSCAN聚类出的各簇建立iForest-MIE异常检测模型，并检测簇内异常点，包括：

(1)随机设置异常值比例r并据此确定构建iTree树的阈值；

(2)随机选取n_samples个数据作为iTree树的根节点，n_samples默认设置为256，并将一维的时序数据复制扩展为max_depth维度，其中max_depth默认为数据量N的平方根；