[发明专利]一种基于准实时平台的数据集群管理系统

说明书

技术领域

本发明涉及一种实时数据处理方法，具体来说涉及一种基于准实时平台的数据集群管理系统。

背景技术

随着电力信息化的不断发展，智能电网试点建设逐步开展，产生了大量的与公司生产运行密切相关的实时、准实时数据，继而沉淀成海量的历史数据，连同调度生产大区电网运行方式、关口电量、保护、雷电等实时数据一起形成了海量的数据，这些数据都是公司的宝贵财富，是实现精益化管理的基础。同时，随着智能电网进一步发展，新型业务应用的不断深化，各级单位及各业务部门对海量准实时数据的集中存储与访问提出了更高的要求，因此，在这样的背景下，电网企业提出了企业级海量准实时平台建设。

目前在电力行业广泛应用于企业数据存储与管理的数据库主要有实时数据库和关系数据库。其中实时数据库典型代表有：OSIsoft公司的PI、InStep公司的eDNA、Honeywell公司的PHD等，国产数据库代表有江苏瑞中HiSoon、中科院Agilor、华北电力大学Vestore等。关系数据库典型代表有：Oracle、DB2、SQL Server等。

实时数据库是一种专门用于处理海量实时信息、基于测点模型的数据库，广泛应用于电力、石化、冶金等工业自动化领域，针对实时采集的具有时序特征的海量生产数据具有极高的事务处理能力、数据压缩比和查询检索速度。实时数据库逻辑上包含实时数据库、历史数据库和测点数据库三部分。实时数据库维护实时数据，实时数据为每个测点时间戳最大的量测值(也就是当前值)；历史数据库维护历史数据，历史数据由实时数据不断归档沉淀后产生，实时数据库中往往采用压缩的方式存储历史数据；测点数据库则维护所有测点的各种属性信息。

关系数据库是以关系模型组织数据并以集合论和关系代数为理论基础处理数据，数据的存储载体为多个有关联关系的二维表。关系数据库的主要功能是查询处理、存储管理和事务处理，事务处理要求保证事务的原子性、一致性、隔离性和持久性。关系数据库主要应用于管理信息领域。

目前，在面对海量准实时数据存储时，不论采用实时数据库还是关系数据库，均不能够完全满足，具体表现在以下两个方面：

·单套实时数据库测点容量有限

随着智能电网建设的不断推进，各级单位准时数据的集中与共享后，需要存储的数据规模将接近数百万或千万级，而当前国内、外主流数据库如PI/eDNA/PHD以及国产HighSoon/Agilor等实时数据库单库数据测点规模至多达到百万级，数据测点容量的限制难以满足电网企业当前及未来几年业务发展的对海量准实时数据存储的需要。

·关系数据库存储实时数据库性能瓶颈

关系数据库虽然对测点规模没有限制，但对实时数据的写入、访问和归档速度较慢，特别是写入速度将是一个很大的瓶颈，同时，关系库不支持直接对历史数据压缩，不适宜对有海量历史数据存储与频繁访问需求的数据进行存储。

发明内容

本发明的目的在于提供一种基于准实时平台的数据集群管理系统，本方法将多个实时数据库和关系数据库组成集群数据库，对外提供统一的访问接口，实现测点位置对访问接口透明，对外提供统一透明的数据访问服务，满足准实时平台海量数据的集中存储与共享。

本发明的目的可通过以下的技术措施来实现：

一种基于准实时平台的数据集群管理系统，包括存储载体层和集群数据访问中间件；所述存储载体层是由若干子节点组成的集群数据库，所述的每个子节点为一个物理数据库服务器，所述集群数据库访问中间件包括集群管理模块、通讯管理模块、执行引擎模块和连接管理模块；

所述集群管理模块，包括节点数据库管理子模块、数据库服务运行状态管理子模块和全局日志管理子模块；

所述节点数据库管理子模块，维护管理子节点的注册、注销、配置信息；

所述数据库服务运行状态管理子模块，对子节点服务的启动、停止状态进行维护，并浏览查询子节点的状态；

所述全局日志管理子模块，通过查找各个子节点的运行日志、分析日志并及时排除子节点的故障，保证子节点上数据库实例的稳定运行；

所述通讯管理模块，通过标准的访问接口接受客户端应用程序发送的访问请求，经身份验证通过后即可成功建立连接，连接请求代理为每个连接创建一个服务线程，在连接生命期内提供数据访问服务；

所述执行引擎模块，包括集群数据的查询操作处理子模块和任务调度处理子模块；

其中，所述查询操作处理子模块将客户端对集群数据库的查询语句进行分析和处理，根据全局测点数据分布信息将全局数据的访问解析为对各子节点上的数据库实例读写操作；