[发明专利]一种基于Spark Streaming的流式大规模电力数据分析方法

说明书

本发明公开了一种基于Spark Streaming的流式大规模电力数据分析方法，步骤如下：第一步，利用SS树进行在线电力数据流的相似性搜索，以对电力数据进行聚类；第二步，改进的Spark并行K均值聚类法对离线电力数据流进行聚类，K均值聚类的聚类中心和类数初始值采用第一步所获得的聚类中心。本发明方法在UCI数据集上的实验评估表明，本发明方法优于传统的K均值聚类算法。同时，通过对用户真实数据集的测试发现，本发明可以快速有效地对用户的电力数据进行聚类。

技术领域

本发明涉及一种电力数据分析方法，特别是涉及一种基于Spark Streaming的流式大规模电力数据分析方法。

背景技术

近年来，世界各国人民对保护环境、实现可持续发展的要求越来越高。在此背景下，如何使电力消费行为智能化已成为一个非常重要的研究课题。大量的基本用电量数据已经积累起来。这些数据量大，频率高。同时，用户的电力数据不断生成。新生成的电力数据能更好地反映用户的电力特性。用户电力数据的分布式集群可以为不同的用户提供不同的激励。这样可以帮助电网公司了解用户的消费习惯，为用户提供个性化、差异化的服务。此外，它还帮助企业进一步扩展其服务的深度和重要性，并为制定未来电力需求响应政策提供数据支持。同时，公司将及时向用户反馈居民用电数据和居民用电情况，让用户了解自己的用电信息，为低碳环保做出贡献。所以需要对海量电力数据进行分析。

目前大规模电力数据分析的研究繁多，但大多数分析工作都选用了hadoop大数据平台，并且只针对离线的历史数据进行分析，但是事实上数据是不断产生的，能合理的兼顾离线数据与在线流式数据处理才是重要的。另外，尽管已经有针对K-means算法做了部分优化，但是单纯的优化算法意义并不是很大，一定要结合具体的平台工具进行优化才能更好的发挥算法的作用。

电力用户分类是实现电力资源优化配置的重要手段之一。通过对用户需求、行为和习惯的分析，国家和企业可以为不同的用户提供不同的激励。这样，人们就更愿意使用绿色、清洁的电力资源。在用户聚类分析中，需要对海量高速数据进行实时处理。

目前存在许多种流聚类方法。Birch算法是T.Zhang等人于1996年提出的一种分层聚类算法。C.C.Aggarwal等人在2003年提出了clusstream，一个经典的两层数据流处理框架。T RaKthanmanon等人在2007年提出了E-stream聚类算法，以改善clusstream算法在高比特数据上的低聚类性能。一、阿塞特等在2011年提出了clustere算法，有效地对任意形状分布的数据点进行聚类。R.Marcel等人在2012年提出了streamKm++算法。

目前已有大量的聚类算法和数据流聚类算法，如K-means算法、基于K-means的改进版本算法、clusstream、streamKm++算法等，但这些算法不能直接有效地应用于分布式存储和计算环境。如何将这些算法集成到当前主流的大数据处理框架中，如Hadoop和SparK，是一个非常有价值的问题。而且，，目前在数据流和分布式计算方面的研究成果很少，尚处于探索的初始阶段。

发明内容

本发明的主要目的是提供一种基于Spark Streaming的流式大规模电力数据分析方法，本发明对clusstream算法和K均值算法进行了改进，并将改进后的算法引入到流式大规模电力数据分析中，实现了电力数据的高效聚类。

本发明提供的一种基于Spark Streaming的流式大规模电力数据分析方法，包括：

第一步，利用SS树进行在线电力数据流的相似性搜索，以对电力数据进行聚类；

本步骤具体为：

S101；初始化树结构，并对接收到的电力数据进行聚类，生成多个微聚类；