[发明专利]一种基于电力大数据平台的数据处理方法

说明书

本发明涉及一种基于电力大数据平台的数据处理方法，其利用数据处理装置实现，其中数据处理装置包括数据采集装置、数据存储装置、数据处理器、数据展示装置和数据监控装置，不仅能够对海量的电力大数据进行处理，还能针对异常数据进行分析。

技术领域

本发明涉及电力大数据技术领域，具体涉及一种基于电力大数据平台的数据处理方法。

背景技术

电力是大数据理念、技术和方法在电力行业的实践。电力大数据涉及到发电、输电、变电、配电、用电、调度各环节，是跨单位、跨专业、跨业务数据分析与挖掘，以及数据可视化。

电力大数据由结构化数据和非结构化构成，随着智能电网建设和物联网的应用，非结构化数据呈现出快速增长的势头，其数量将大大超过结构化数据。电力大数据的特性满足大数据的五个特性，一是数据量大(Volume)、二是处理速度快(Velocity)、三是数据类型多(Variety)、四是价值大(Value)、五是精确性高(Veracity)。

现有的大数据处理方法一般是将海量的电力大数据进行去噪处理，然后进行分析，但是异常数据常常包含着巨大的研究价值，能够对用电行为分析、故障点预测、节能等方面提供新的思路。

发明内容

为解决现有技术的不足，本发明提供了一种基于电力大数据平台的数据处理方法，不仅能够对海量的电力大数据进行处理，还能针对异常数据进行分析，具体技术方案如下：

一种基于电力大数据平台的数据处理方法，其利用数据处理装置实现，其中数据处理装置包括数据采集装置、数据存储装置、数据处理器、数据展示装置和数据监控装置，该方法顺序的包括如下步骤：

(1)利用数据采集装置获取用电信息，每隔10min的间隔周期向电网发送实时用电信息；

其中，数据采集装置为双向通信能力的智能电表；

(2)接受来自数据采集装置发送的用电信息，利用数据存储装置进行存储；

其中，数据存储装置根据数据类型和数据处理的要求采用不同的数据存储方式，例如采用HDFS、Hive、HBase、MangoDB中的一种或多种来存储；

(3)利用数据处理器对存储的用电信息抽取出异常数据，然后进行大数据统一处理，再对多源数据进行整合，批量生成分布式数据库，然后采用Storm组件进行实时计算；

其中，步骤(3)中对于抽取的异常数据，处理步骤如下：

A.将获取的用电信息实时的存储于内存数据库中；

B.然后对数据进行预处理，按照对每户用电负荷等信息进行计算，形成各个用户的数据曲线图；

C.用步骤B每个数据曲线上的点进行求平均，得到平均数据变化曲线图，每个用户数据曲线与平均数据变化曲线图进行比较，根据离散程度大小得到异常曲线图；

D.对得到的异常曲线去进行分析。

(4)利用数据展示装置对上述数据处理结果进行可视化处理；

(5)利用数据监控装置进行监控。

本发明能够同时对不同类型的数据进行多样化处理，提高了数据存储和处理的效率；而且本发明不仅能够对海量的电力大数据进行处理，还能针对异常数据进行分析。

具体实施方式

本发明提供了一种基于电力大数据平台的数据处理方法，不仅能够对海量的电力大数据进行处理，还能针对异常数据进行分析，具体技术方案如下：

(1)利用数据采集装置获取用电信息，每隔10min的间隔周期向电网发送实时用电信息；

其中，数据采集装置为双向通信能力的智能电表；