[发明专利]一种电网实时数据中心与大数据平台融合方法

说明书

技术领域

本发明涉及电网信息化领域，特别是涉及一种电网实时数据中心与大数据平台融合方法。

背景技术

十二五期间，电网企业(如国家电网公司和南方电网公司)建成了实时数据中心，实现 了对电力生产运行过程中各业务应用生成的历史/准实时数据的按需存储、整合、共享交换和 计算加工，接入了用电信息采集、SCADA、电能量、输变电在线监测等业务系统历史/准实 时数据，支撑了大量业务应用的历史/准实时数据访问服务。

随着大数据技术的发展，历史/准实时数据结合大数据相关的技术将发挥更大的价值，通 过在实时数据中心引入大数据平台，可以优化数据整合、数据存储、数据计算、数据分析、 数据服务能力，支撑业务应用建设。但是，大数据平台的引入，并非直接替代实时数据中心 承担历史/准实时数据的存储、整合、分析和计算，大数据平台和实时数据中心在处理历史/ 准实时数据上是相辅相成的。实时数据中心与大数据平台的有机融合，将使历史/准实时数据 发挥更大作用。具体表现在：

(1)时序数据使用模式根深蒂固，现有业务应用已基于此模式实现应用集成及应用开发， 融合需考虑使用模式及业务应用的连续性。通过测点访问时序数据的模式在行业内有标准的 CIS、OPC等标准，在电网企业层面也发布了UAPI访问规范，基于测点的数据访问已成为时 序数据写入和访问的标准模式。同时现有实时数据中心已经支撑电网企业统推应用和部分省 (市)公司自建应用的应用集成和数据访问，如果调整时序数据使用模式，势必导致大量统 推和自建应用需改造，影响业务应用的连续性。

(2)大数据平台对于分钟级以下时序数据处理能力有限，而实时数据中心底层实时数据库 专门为时序数据量身订做，可存储处理毫秒级甚至微秒级时序数据。现有统一车辆数据、供 电电压数据等采集频率均达到秒级，随着精益化生产管理需求，越来越多的生产运营实时数 据要求精度更高，频度更大，仅通过大数据平台难于处理高频海量时序数据存储、处理和分 析需求。

(3)保护投资，充分利旧。根据电网企业十二五规划要求，实时数据中心是四大数据中心 之一，重点存储历史/准实时数据。十二五期间，通过实时数据中心的建设，充分验证了其作 为历史/准实时数据存储处理的可行性。大数据平台在行业外应用效果明显，但是在电网时序 数据存储处理上国内外并无先例，其可行性有待进一步验证研究。同时通过实时数据中心和 大数据平台融合的尝试，保护投资的同时也充分利旧。

综上，实时数据中心与大数据平台融合时宜作为大数据平台的一部分存在，通过大数据 平台优秀的数据挖掘分析计算组件，支撑实时数据中心深化应用；通过实时数据中心时序数 据快速存储处理特性，存储智能电网生产运行时序数据。两者相辅相成、相得益彰。

发明内容

针对现有技术中存在的问题，本发明提供了一种实现基于数据库网关的实时数据中心与 大数据平台融合，实现大数据平台支撑时序数据的存储应用，保证原有时序业务应用的使用 连续性的电网实时数据中心与大数据平台融合方法。

本发明的目的通过以下技术方案实现。

一种电网实时数据中心与大数据平台融合方法，建立电网实时数据中心与大数据平台融 合整体架构：数据采集层、存储层、网关层、数据处理层、应用层，所述的数据采集层基于 大数据领域通用的组件Kafka实现，所述的数据采集层用于电网业务中各类时序数据采集和 缓存，并传递至存储层；所述的存储层是实时数据中心的核心，采用基于实时数据库和关系 数据库双引擎的存储方式，所述的实时数据库存储电网生产运行过程中各业务系统产生的时 间序列量测数据，所述的关系数据库存储支撑实时数据中心正常运行的关系型数据；所述的 网关层基于JDBC接口和FDW技术实现实时数据中心与Spark大数据技术的融合；所述的数 据处理层利用Spark内存计算框架和Storm流式计算框架实现海量数据的历史分析和实时分 析，并对外提供统一的数据访问接口；所述的应用层用于实现数据挖掘、数据可视化，与现 有基于实时数据中心的各类业务应用共同支撑智能电网稳定运行。

通过实时数据中心内部实时数据库的中间件实时数据库网关实现从SQL到实时数据中心 数据访问的回调及JDBC技术，从而实现实时数据中心与大数据平台的融合。