[发明专利]一种基于工业用电大数据的数据清洗的集成方法

说明书

本发明公开了基于工业用电大数据的数据清洗的集成方法，包括下述步骤：S1、采集工厂需要进行数据清洗的数据序列；S2、对采集的数据序列进行周期性检验，将周期性检验后的数据细分为：周期性序列、非周期性平稳序列和非周期性非平稳序列；S3、建立异常值剔除模型库，并将不同类别数据序列分别输入到对应的剔除模型中，剔除异常值；S4、建立数据填补模型库，将剔除异常值的数据序列根据不同数据类别输入到对应的数据填补模型中；S5、建立滤波模型库，将填补后的数据序列分别输入到对应的滤波模型中；S6、将S5处理后的数据序列分别存入实时数据库和分布式数据库中。

技术领域

本发明涉及工业用电大数据的数据清洗领域，特别涉及一种基于工业用电大数据的数据清洗的集成方法。

背景技术

工业的电耗占了全社会用电的70％以上，为了实现到2030年中国单位GDP的二氧化碳排放，要比2005下降60％到65％。因此，减少工业用电是十分必要的。

为了减少工业用电，需要建立一系列的智能优化模型，而数据质量决定了优化模型的好坏，因此，保证数据质量是十分重要的。当前，工业对用电数据的采集点比其他的方面要全面，大型的工业对用电数据已经有了一定的沉淀。然而由于测量问题、通讯问题断、生产环境等原因，数据存在噪声、异常、空缺、失真等问题。因此，为了提高数据质量，需要对沉淀的工业用电大数据进行数据清洗。

本发明提出的一种基于工业用电大数据的数据清洗的集成方法，可以普遍用于各种大型工业的用电大数据的数据清洗，帮助提高数据质量，为后续建立用电优化模型提供可靠的保证。

发明内容

为解决现有技术中存在的问题，本发明提供了一种基于工业用电大数据的数据清洗的集成方法，解决了以往方法降低数据质量，无法为后续建立用电优化模型提供可靠的保证的问题。

本发明采用的技术方案是，一种基于工业用电大数据的数据清洗的集成方法，包括下述步骤：

S1、采集工厂需要进行数据清洗的数据序列；

S2、对采集的数据序列进行周期性检验，将周期性检验后的数据细分为：周期性序列、非周期性平稳序列和非周期性非平稳序列；

S3、建立异常值剔除模型库，并将不同类别数据序列分别输入到对应的剔除模型中，剔除异常值；

S4、建立数据填补模型库，将剔除异常值的数据序列根据不同数据类别输入到对应的数据填补模型中；

S5、建立滤波模型库，将填补后的数据序列分别输入到对应的滤波模型中；

S6、将S5处理后的数据序列分别存入实时数据库和分布式数据库中。

优选地，S2包括以下子步骤：

S21、利用小波分析法对部分序列进行拆分，分析拆分后的序列是否具有周期性，若没有，则分入非周期性这一类别中；若有，则分入周期性这一类别；

所述小波分析法的计算公式为：

其中，a为尺度，控制小波函数的伸缩；τ为平移量；f(t)为目标信号；ψ(t)为基本频率特性；

S22、对不是周期性序列进行统计学分析，分析一年的数据，且判断是否95％的数据都存在于一个固定范围内，若是，则将这类数据归类到非周期性、平稳序列中；若否，则归类到非周期性序列、非平稳序列中。

优选地，S3包括以下子步骤：

S31、利用主成分分析法对平稳生产的数据序列进行异常值标记和剔除，所述主成分分析法的计算公式为：