[发明专利]一种基于spark和聚类算法的电能表检定误差诊断方法

说明书

本发明涉及一种基于spark和聚类算法的电能表检定误差诊断方法，属于大数据处理技术领域。首先通过利用Nginx集群来作为数据采集系统，将采集的电能表检定误差数据发送到flume集群中，然后通过Kafka读取flume集群中数据进行简单处理，利用Spark Streaming会实时消费Kafka里的数据，将数据读取出进行数据的预处理，用Spark机器学习库MLlib实现聚类算法来对电能表检定误差数据进行聚类归类分析，将结果写入到Hbase数据库，可以实时获取电能表检定误差的变化，并可以导出进行离线综合统计分析。

技术领域

本发明涉及一种基于spark和聚类算法的电能表检定误差诊断方法，属于大数据处理技术领域。

背景技术

随着网络的迅速发展，以及技术的快速进步，各种数据也急速的增长，导致各种各样的数据以及类型越来越多，从而产生了对于这些数据的处理的问题，如何将从这些大量的数据中找出最有价值的信息，比如随着用电量的增加，对于其中电能表如何进行系统准确的来确定电量的问题研究也变得越来越重要，从而可以增加很多的效益。因此如何从海量的数据挖掘中挖掘出隐含的有用的信息并进行实时的分析统计引起人们越来越多的关注，目前最常用的大数据流的并行处理系统有Spark，Storm,Samza和Flink，这些系统都可以用于接收和处理实时的数据流。

Spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式，包括交互式查询和流处理所处理的数据可以来自于任何种存储介质，如关系数据库、本地文件系统、分布式存储、网络Socket字节流等。Spark从数据源存储介质中装载需要处理的数据至内存，并将这些数据集抽象为RDD(弹性分布式数据集)对象。然后采用系列算子(封装计算逻辑的API处理RDD，并将处理好的结果以RDD的形式输出到内存，或以数据流的方式持久化写入到其他存储介质中。

Spark包含常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib用于机器学习，SparkGraphX用于图计算。

Kafka是由Linkedln开发的一个分布式消息系统，使用Scala编写，由于可水平扩展和高吞吐率被广泛使用。目前开源分布式处理系统如Cloudera、Apache、Storm、Spark趋向于支持与Kafka的集成。

HBase是个高可靠性、高性能、面向列、模结构化的存储集群。可伸缩的分布式存储系统，利用HBase技术可在廉价的PC服务器上搭建大规模结构化的存储集群，与MapReduce的离线批处理计算柜架不同，HBase是一个可以随机访问的存储和检索数据平台，弥补了HDFS或Hive不能随机访问数据的缺陷，适合实时性要求不是非常高的业务场景。

Flume是Cloudera提供的高可用、高可靠、分布式，进行海量日志采集、聚合和传输系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume可对数据进行简单处理，并写到各种数据接收方。

发明内容

本发明要解决的技术问题是提供一种基于spark和聚类算法的电能表检定误差诊断方法，首先通过利用Nginx集群来作为数据采集系统，将采集的电能表检定误差数据发送到flume集群中，然后通过Kafka读取flume集群中的进行简单处理，最后利用SparkStreaming会实时消费Kafka里的数据，将数据读取出进行数据的预处理，用Spark机器学习库MLlib实现聚类算法来对电能表检定误差数据进行聚类归类分析，将结果写入到Hbase数据库，可以实时获取电能表检定误差数据误差的变化，并可以导出进行离线综合统计分析。