[发明专利]基于Lasso算法的异常数据检测方法及装置

说明书

本申请属于大数据技术领域，具体涉及一种基于Lasso算法的异常数据检测方法和装置。其中的方法包括：从电力大数据采集和应用系统中获取待检测数据集和训练样本集，基于Lasso算法对训练样本集进行学习，训练优化得到用电数据预测模型；以待检测数据集中每个实际用电数据的生成日期作为输入，通过所述用电数据预测模型获取各实际用电数据对应的预测用电数据；基于预测用电数据进行异常检测。本申请中的方法基于Lasso算法建立的用电数据预测模型，模型精度高，检测速度快，可以在电力数据采集过程中对数据进行实时检测。

技术领域

本申请属于大数据技术领域，具体涉及一种基于Lasso算法的异常数据检测方法和装置。

背景技术

随着时间的累积，电网公司在生产经营中集聚了海量多维的电力数据，由于电力数据与居民生活、企业生产的汲汲相关，通过各类电力数据价值的融合挖掘技术，打造基于人工智能的电力大数据应用普适化平台，可及时、精准、多视角的反应民生和经济发展情况。如企业复工复产数据监测、企业信用评估、“电力消费指数”监控、转供电企业识别等。

日负荷、日电量、日运行容量、日报装容量等时序类数据是电力数据重要组成部分，其具有粒度细、数据量大等特征。由于数据在存储过程中容易受采集设备故障、业务突变等影响，因此由数据采集异常、数据存储异常、业务突变导致产生大量的不同类型的异常数据。异常数据存在将影响数据分析的结果，因此异常数据的挖掘是开展数据分析的必不可少的工作。

常见的异常数据挖掘方法包括基于统计模型、基于距离模型、基于密度模型、基于偏离模型等方法，其中利用统计学方法处理异常数据挖掘有一套独立完整的理论及方法，但是模型运用时需要事先知道模型参数，分布参数，及逾期异常点数据，模型应用的灵活性有较大局限。

发明内容

鉴于现有技术的上述缺点、不足，本申请提供一种基于Lasso算法的异常数据检测方法和装置。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请实施例提供一种基于Lasso算法的异常数据检测方法，该方法包括：

从电力大数据采集和应用系统中获取待检测数据集和训练样本集，所述待检测数据集是由不同日期产生的实际用电数据组成的时序数据序列，所述训练样本集是待检测数据集之前产生的历史用电数据组成的时序数据序列；

以训练样本的数据生成日期为变量，以数据生成日期的日历特征和当前训练样本之前的历史用电数据数值特征为变量特征，基于Lasso算法对模型进行训练优化，得到用电数据预测模型；

以所述待检测数据集中每个实际用电数据的生成日期作为输入，通过所述用电数据预测模型获取各实际用电数据对应的预测用电数据；

对所述待检测数据集中的每个实际用电数据，基于相应的预测用电数据进行异常检测。

可选地，所述日历特征包括：月份、星期、季度、是否月初第一天、是否月末最后一天、是否季度第一天、是否季度最后一天、是否周末、假期类型。

可选地，所述历史用电数据数值特征包括：当前日期往前平移5天的数值、当前日期往前平移6个天的数值、当前日期往前平移7天的数值、当前日期往前平移8天的数值、去年同期月日均数值、上个月日均数值、当前日期所对应假期类型的平均数值。

可选地，对训练样本集进行学习训练前，对所述训练样本集进行数据清洗，包括：

利用S-H-ESD 算法识别所述训练样本集中的异常数据；

通过均值插补法对识别的异常数据进行数据修复。

可选地，利用S-H-ESD 算法识别所述训练样本集中的异常数据，包括：