[发明专利]一种基于spark和聚类算法的电能表检定误差诊断方法

权利要求书

1.一种基于spark和聚类算法的电能表检定误差诊断方法，其特征在于：实时的接受检测到的电能表的检定误差数据，将采集的电能表检定误差数据发送到flume集群中，然后通过Kafka读取flume集群中的数据进行简单处理，存储在消息缓冲队列服务器，通过SparkStreaming把从Kafka中接收来的实时电能表检定误差数据误差流分成多个数据块存放在内存里，并在一定的时间间隔对内存中的数据块进行批处理，Spark通过算子对离散流进行数据的预处理，并把分析处理结果写入到Hbase数据库里，利用Spark的机器学习库MLlib对Hbase数据库里的数据实现聚类算法建模分析，来判断电能表检定误差数据误差的大小，以及来评定不同厂家电能表的好坏。

2.根据权利要求1所述的基于spark和聚类算法的电能表检定误差诊断方法，其特征在于具体步骤为：

Step1：通过搭建Nginx采集机，来采集电能表检定误差数据，并将采集到的数据直接传输到Kafka集群中，具体为：

1)上传Nginx压缩包到Linux集群，并解压，进入Nginx源码目录安装gcc编译器进行预编译；

2)编译安装Nginx,启动Nginx，查看Nginx的进程，验证是否开启；

3)为Nginx集群安装nginx-Kafka插件，根据Kafka的配置文件，修改Nginx.conf文件，使Nginx集群与Kafka集群进行结合；

Step2：将采集的电能表检定误差数据发送到flume集群中，然后通过Kafka读取flume集群中的进行简单处理，存储在消息缓冲队列服务器；

Step3：初始化并创建SteamingContext对象，该对象中的参数包括：SparkContext对象以及处理批量处理数据的时间，同时对批处理处理数据的时间间隔进行参数的设置，从而找到合适的批量处理时间；

Step4：利用Spark Streaming接收实时流的数据，并根据一定的时间间隔进行拆分为不同批次的数据，然后通过Spark Engine从该队列中依次取出一个个批数据，把批数据封装成一个RDD，最终得到处理后的一批批结果数据，把处理之后的用户数据实时存入Hbase数据库中；

Step5：使用基于Hadoop平台的Spark MLlib库对传感器数据进行分类模型计算，通过聚类算法对采集并存储到Hbase数据库中的数据进行分类分析，分类并且识别电能表检定数据误差的诊断；

Step6：使用创建的SparkContext对象中的saveAstextFile()函数将获取到的电能表检定误差数据存入到Hbase数据库，并用echarts进行可视化展示。