[发明专利]一种大数据环境下供配电能耗数据的挖掘与可视化方法

说明书

技术领域

供配电能耗数据的挖掘与可视化方法，尤其涉及一种大数据环境下供配电能耗数据的挖掘与可视化方法

背景技术

近年来，随着计算机软硬件技术的快速发展以及互联网的广泛应用，信息技术在生活、生产、科研以及等各个领域都产生了大量的信息，尤其是供配电领域。供配电的数据集大小以难以想象的速度增长，给数据处理带来了极大的挑战。如何快速地对大量属性不同的多维数据信息进行处理与分析，从而得到所需能耗的信息，这成为学者研究的热点课题之一。数据挖掘、数据融合、大数据处理以及数据可视化等与数据处理密切相关的学科随之产生。

之前的数据统计和数据分析等工作由统计学方面的专家、数据分析师和科学研究者们全权负责,但在如今的大数据背景下,海量数据只有在被合理采集、解读与表达之后才能完美展现它们的瑰丽与深奥,而可视化则无疑是让数据变的亲切和便于理解的最有效的途径。然而，如何在供配电大数据信息中挖掘出其能耗数据信息，并以可视化的方法实现对大数据信息的解读成为一个难题。

发明内容

本专利提出一种大数据环境下供配电能耗数据的挖掘与可视化方法，其中涉及一种基于深度学习的稀疏编码算法，一方面采用坐标下降法的字典学习方法来调整稀疏编码中字典的参数，另一方面共轭梯度下降法,来学习大数据的主要关联特征，从而对大数据降维和线性化，实现数据挖掘。利用Weka数据挖掘工作平台，在Weka中集成以上提到的算法，对数据进行预处理、分类、回归、聚类、关联规则以及在新的交互式界面上可视化。

1.所述基于深度学习的稀疏编码算法，具体方法步骤如下:

步骤1.将供配电能耗数据集信息根据每一时刻的数据划分为若干组列向量；

步骤2.利用KSVD字典选取方法从数据中的第一组列向量选取用于稀疏编码的初始字典；

步骤3.循环步骤1.根据现有的字典按顺序对数据进行学习，每次一组，得到一个低维特征向量，并使用共轭梯度下降方法对其进行学习，直至收敛；

步骤4.循环步骤2.根据前一次学习的特征向量，对字典利用坐标下降法进行更新，直至收敛；

步骤5.循环1，2直到所有大数据对应的特征向量均学习完成。

2.上述涉及到的字典学习，是一种在线字典学习，其具体计算步骤如下：

随机变量x∈R^m～p(x)，调整参数λ∈R，初始字典D₀∈R^m×k，迭代次数T。

步骤1.重置之前的数据信息：A₀∈R^k×k←0，B₀∈R^m×k←0；

步骤2.开始循环：从t＝1到T；

步骤3.从p(x)中选取x_t；

步骤4.稀疏编码：采用LARS计算：

步骤5.At=At-1+αtαtT;]]>

步骤6.Bt=Bt-1+xtαtT;]]>

步骤7.D_t-1作为热启动，计算D_t：