[发明专利]一种电网配用电大数据的数据挖掘方法

说明书

本发明涉及能源数据分析技术领域，解决了针对配用电大数据进行数据挖掘过程中，所存在数据挖掘速率以及性能较低，同时易产生大量的结构连接数目的技术问题，尤其涉及一种电网配用电大数据的数据挖掘方法，该方法包括以下步骤：S1、基于电网大数据获取当地电网的配用电数据；S2、对配用电数据进行筛选并剔除其中与决策属性关联性小的数据集合得到决策数据集。本发明解决数据挖掘在决策数据集R中数据量较大情况下的挖掘速率以及性能下降的问题，并快速生成相对应的挖掘目标，从而不仅减少了单个处理器需要处理的数据量，而且多个处理器同时运算，大大缩短了数据挖掘的耗时。

技术领域

本发明涉及能源数据分析技术领域，尤其涉及一种电网配用电大数据的数据挖掘方法。

背景技术

大数据挖掘已经提出了许多基础的、通用的分析方法，包括分类、聚类、孤立点、预测、演变、关联、回归、决策树、神经网络、支持向量机、主成分分析、假设检验等。但是，对于配用电大数据态势感知和知识发现而言，现有的基础、通用的大数据挖掘分析方法并不完全适用。

随着电网规模扩大、量测手段和信息通信技术的不断完善，电网的基础运行数据逐渐呈现出数据量大、处理逻辑复杂、存储周期长等大数据特征，因此在配用电大数据的数据挖掘中，由于数据的类型以及体量较大，导致数据挖掘速率以及性能较低，同时单个处理器的数据处理负载较大，在数据挖掘搜索的过程中易产生大量的结构连接数目，这也为数据挖掘的可靠性带来严峻挑战。

发明内容

针对现有技术的不足，本发明提供了一种电网配用电大数据的数据挖掘方法，解决了针对配用电大数据进行数据挖掘过程中，所存在数据挖掘速率以及性能较低，同时易产生大量的结构连接数目的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：一种电网配用电大数据的数据挖掘方法，该方法包括以下步骤：

S1、基于电网大数据获取当地电网的配用电数据；

S2、对配用电数据进行筛选并剔除其中与决策属性关联性小的数据集合得到决策数据集；

S3、确定与决策数据集相关联的数据挖掘规则，并根据数据挖掘规则生成矩阵挖掘规则；

S4、将决策数据集进行路径分解生成若干个查询路径；

S5、计算若干个查询路径中的任意多个数据片段的威望度；

S6、根据威望度判断查询路径是否为最优的查询路径；

若是，则进入步骤S7；

若否，则返回步骤S4；

S7、采用最优的查询路径根据矩阵挖掘规则在决策数据集中进行数据挖掘。

进一步地，在步骤S2中，具体过程包括以下步骤：

S21、将配用电数据随机划分为若干个数据集合，，其中P为配用电数据，为随机划分的第i个数据集合；

S22、设任意数据集合中所对应的事件A、事件B为配用电数据P上的两个等价关系族，事件D为决策属性，并根据等价关系族确定事件A和事件B在配用电数据P上的概率分布；

S23、根据概率分布计算事件A的信息熵H（A）；

S24、根据信息熵H（A）计算相对于事件B的条件熵H（A|B）；

S25、判断决策属性事件D与事件A的关联性大小；

若事件D与事件A的关联性大，则保留事件D所对应的数据集合；

若事件D与事件A的关联性小，则剔除事件D所对应的数据集合；

S26、将剔除的数据集合合并构成决策数据集R。

进一步地，在步骤S23中，信息熵H（A）的计算公式为：

上式中，n、m均表示事件的数量，为事件A在配用电数据上的概率分布。

进一步地，在步骤S24中，条件熵H（A|B）的计算公式为：