[发明专利]一种多模异构电力大数据融合分析管理系统及方法

说明书

本发明公开了一种多模异构电力大数据融合分析管理系统，其包括有：多源数据采集层，用于对多个数据源进行数据采集；数据接口层，对应多种数据类型而分别设有多个数据接口；电力大数据融合管理子系统，包括有多个开源数据库；大数据分析引擎，包括有基于Spark并行运算框架的开源算法库，通过调用开源算法库中相应的分析方法实现对所述开源数据库中存储数据的计算分析；模型访问接口层，连接于大数据分析引擎和开源数据库，所述模型访问接口层包括有多种访问接口，藉由相应的访问接口而实现对开源算法库和开源数据库的访问。本发明能提升数据处理的性能、充分挖掘数据价值和实现数据资产管理，为上层电力专业模型提供快速高效的数据管理保障。

技术领域

本发明涉及电力系统大数据智能信息处理方法，尤其涉及一种多模异构电力大数据融合分析管理系统及方法。

背景技术

随着电力行业的发展，电力系统中所涉及的数据已经由传统型电力数据演变为电力大数据，跨领域的时空扩展将电力系统的界面条件从确定性变为时变性，从单一变得复杂，同时也增加了多时间尺度的动态变换性，此外，电力大数据也具有通用大数据的“4V”显著特征，即数据量Volume、数据种类Variety、处理速度Velocity和数据价值Value。

目前，大部分电力设施和数据处理设备在面临大数据时，存在处理效率低下等缺陷，容易造成大量数据资源的浪费，无法及时、快速、全面地掌握电网系统以及相关设备的状态信息，最终给电网的运行管理和科学决策带来很大的困扰。与此同时，国内外大数据平台的研究也比较零散，大数据平台架构方面大多基于Hadoop技术，尚未形成支撑大数据平台开发的相关技术体系，而且国内外已有的电网数据获取与转换装置主要针对部分关键设备和关键数据采集开展，而对于电网、设备、环境以及大量弱关联、时空电力大数据的获取，以及如何实时快速地深入分析，尚存大量的关键技术问题亟需研究，由此可见，现有技术面临的最大挑战就是缺乏一个高效的大数据分析处理平台对电力大数据进行有效存储，再结合智能算法进行高效挖掘运算，最终以有价值的信息形式展现，帮助电力操作员进行快速正确的决策判断。目前，虽然电网公司已具备海量、多样的数据资源，为电力数据的深层次分析提供了良好条件，但如何提升数据处理的性能、充分挖掘数据价值并实现数据资产管理，如何使数据成为企业核心资产是当前亟待解决的问题。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种多模异构电力大数据融合分析管理系统及方法，利用该系统和方法为电力大数据采集、集成、存储、管理、数据挖掘和决策支持提供高效的分析处理平台，并且提升数据处理的性能、充分挖掘数据价值和实现数据资产管理，为上层电力专业模型提供快速高效的数据管理保障。

为解决上述技术问题，本发明采用如下技术方案。

一种多模异构电力大数据融合分析管理系统，其包括有：多源数据采集层，用于对多个数据源进行数据采集；数据接口层，其连接于多源数据采集层，所述数据接口层对应多种数据类型而分别设有多个数据接口，并利用相应数据类型的数据接口接收多源数据采集层所采集的数据；电力大数据融合管理子系统，其连接于数据接口层，所述电力大数据融合管理子系统包括有多个开源数据库，所述开源数据库用于对所述数据接口层接收的数据进行分别存储；大数据分析引擎，其连接于电力大数据融合管理子系统，所述大数据分析引擎包括有基于Spark并行运算框架的开源算法库，通过调用开源算法库中相应的分析方法实现对所述开源数据库中存储数据的计算分析；模型访问接口层，连接于大数据分析引擎和开源数据库，所述模型访问接口层包括有多种访问接口，藉由相应的访问接口而实现对开源算法库和开源数据库的访问。

优选地，所述数据接口层包括有用于传输关系型数据的SQOOP接口、用于传输实时数据流的JMS接口和用于传输常规数据的FTP接口；所述电力大数据融合管理子系统包括有数据仓库工具Hive、Hbase数据库、SQL大数据查询工具Impala和Hadoop资源管理器YARN。