[发明专利]一种基于大数据技术的智能电网量测数据处理方法及系统

说明书

技术领域

本发明涉及一种电网的量测数据处理方法，特别是一种基于大数据技术的智能电网量测数据处理方法及系统。

技术背景

随着智能电网信息化不断发展，调度自动化和采集监测类系统积累了海量的电网量测数据，量测数据作为电网领域四大数据类型之一，是设备状态监测、辅助决策分析、大数据挖掘的重要基础，目前采用传统关系型数据库进行存储，传统关系型数据库用于电力信息系统量测数据存在处理效率低的问题。随着大数据技术的不断成熟，先进的存储与计算架构与传统架构在性能和扩展性上不断拉开差距，采用传统架构的关系型数据库逐渐暴露出技术不足与局限性，不能够很好的支撑大数据环境下对量测数据的高效计算与深度挖掘。

发明内容

本发明针对传统关系型数据库用于电力信息系统量测数据处理效率低的问题，设计并实现了基于大数据技术的量测数据处理系统，该系统分为数据接入、实时处理、数据存储、数据访问接口四个功能模块，其中，数据接入模块基于分布式消息队列技术，实现了大规模量测数据的缓冲接入；实时处理模块基于流计算技术，提高了量测数据在入库前的实时处理效率；数据存储模块设计了量测数据列式存储模型，实现了大规模量测数据的高效存取；数据访问接口模块由结合量测数据特点的统一访问接口UAPI组件实现。

数据接入模块应用Kafka组件，Kafka是一种高吞吐量的分布式发布订阅消息系统，通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于TB的消息存储也能够保持长时间的稳定性能。高吞吐量对于非常普通的硬件，Kafka也支持每秒数百万的消息，支持通过 Kafka服务器和消费机集群来分区消息，支持Hadoop并行数据加载。

实时处理模块应用Storm组件，Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。

数据存储模块应用HBase存储系统，HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价 PC Server上搭建起大规模结构化存储存储。

技术方案：

本发明一种基于大数据技术的智能电网量测数据处理方法及系统包括数据接入、实时处理、数据存储、数据访问接口四个功能模块。

数据接入模块，抽取原业务系统数据：从多个源业务系统中抽取出数据，并对数据的正确性与完整性进行校验，对存在错误的数据进行校正。

进一步地，业务系统进入各自的适配器：由于生产系统众多，数据接口实现方式千差万别，量测数据接入系统前需要定制适配器与数据源系统对接，一是用于协议转换，二是用于对生数据进行初步加工，使其格式统一。

进一步地，数据统一进入Kafka消息队列：适配器一端连接数据源系统，一段连接量测数据处理系统的Kafka组件，根据接入数据类型的不同在Kafka上配置不同的消息队列，一个数据源系统接入的量测数据类型可能有多种，即一个数据源系统可能对应Kafka中的多个队列。由于Kafka是分布式消息队列，具有异步通信特点，其吞吐量非常大，可以同时接入多套数据源系统，各源业务系统由部署在各业务服务器上的软件系统实现，并且能够对峰值巨大的数据起到缓冲作用，避免对整个系统构成冲击。

实时处理模块，采用Storm组件进行实时计算：在量测数据入库前，采用Storm组件对数据流进行流计算。由于Kafka中不同消息队列对应不同的量测数据类型，处理方式千差万别，所以需要根据业务需求开发相应的Storm处理逻辑。Strom作为一个分布式实时计算系统，提供了很好的并行流计算框架，可以对数据进行分布式加工处理，支持大规模数据的实时计算。此过程主要完成两类工作，一是对进入系统的数据进行深度加工，例如数据补全、数据质量检查等。加工后的数据一般存储于Hbase和Redis中；二是对流过的数据进行统计分析，一般分析后的数据作废，只保留分析结果存储于Mysql中。对于第一种情况，其中的Redis主要用于热数据缓存，因为第一种情况一般是对量测数据的入库处理，入库后的数据需要被频繁访问，而越新的数据访问热度往往越高。为了提高热数据的访问效率，数据存储到 Hbase时同时存储一份到Redis，Redis作为内存数据库具有更高的访问效率。需要说明的是Redis只保存最近一段时间的数据，数据超过一定时间将被定期清除。