[发明专利]一种基于Spark Streaming的流式大规模电力数据分析方法

权利要求书

1.一种基于Spark Streaming的流式大规模电力数据分析方法，其执行步骤如下：

第一步，利用SS树进行在线电力数据流的相似性搜索，以对电力数据进行聚类；

第二步，Spark并行K均值聚类法对离线电力数据流进行聚类；

本步骤具体为：

S201：MAP函数处理，具体为：

以<Key，value>形式存储离线电力数据流，其中，Key是当前电力数据样本相对于输入数据文件起点的偏移量，value是当前电力数据样本的坐标值字符串；

将当前电力数据样本各维的值解析出来，计算当前电力数据样本与各聚类中心的距离，聚类中心初始值为第一步所获得的聚类中心；找出最近聚类中心的编号Key'，最后将当前电力数据样本以<Key'，value'>形式存储，value'表示当前电力数据样本的坐标值字符串；

S202：Combine函数处理，具体为：

从MAP函数输出的坐标值字符串中依次解析每个电力数据样本的坐标值，对坐标值累加，并输出各电力数据样本对应的聚类中心编号、坐标累加值和样本总数；

S203：Reduce函数处理，具体为：

分析每个联合体处理的样本数和每个维度中各样本对应的坐标累加值，利用Reduce函数更新各电力数据样本所在聚类中心的坐标，之后继续采用MAP函数处理，直至聚类中心坐标收敛。

2.如权利要求1所述的流式大规模电力数据分析方法，其特征在于：

第一步进一步包括：

S101；初始化树结构，并对接收到的电力数据进行聚类，生成多个微聚类；

S102：一旦有新电力数据点X到达，判断X到每个微簇中心的距离是否大于微簇的均方根偏差，若均大于，将X作为新微簇，执行步骤S103；否则将X添加到最近的现有微簇，重复本步骤；

S103：提取每个微簇中所有电力数据点的相关时间值，判断每个微簇中最小相关时间值和阈值的大小，删除小于阈值的微簇；如果所有微簇的最小相关时间值均不小于阈值，则合并两个最近的微簇。

3.如权利要求1所述的流式大规模电力数据分析方法，其特征在于：

在利用K均值聚类法对离线电力数据流进行聚类前，对离线电力数据流进行预处理；

所述预处理进一步包括：数据过滤、数据填充和特征规范化；

数据过滤包括删除重复数据和丢失值数量超过阈值的数据、以及将划分到不同用电信息的数据合并；

数据填充为利用缺失值的两个相邻荷载值的平均值填充缺失值；

特征规范化包括对从离线电力数据流提取的用户特征值进行归一化。