[发明专利]一种通用实时数据存储管理系统及其实现方法

说明书

一种通用实时数据存储管理系统及其实现方法，所述系统包括服务器和客户端，服务器包括主系统管理模块、数据查询服务模块、数据归档服务模块、数据缓存服务模块；客户端包括界面发布管理模块、界面建模工具模块。本发明对模型/权限管理、读写并发控制、数据管理等部分进行抽象整合，由一系列形式分散独立但内在有机关联的模块构成了通用实时数据存储管理系统平台，具有高实时、大并发、高吞吐能力、可伸缩等特性，能够为客户提供高速、及时、有效的实时数据管理服务。

技术领域

本发明属于电力自动化控制系统技术领域，具体涉及一种通用实时数据存储管理系统及其实现方法。

背景技术

实时数据存储管理系统主要用于采集、存储并管理来自各种控制系统和现场总线的设备状态与生产过程数据，提供企业级的统一的实时数据平台。实时数据存储管理系统适用于海量实时/历史数据的采集、存储、分析、发布。产品支持多种接口，可在广域范围内采集各种传感数据，并与各类控制系统、关系型数据库和其他实时数据库以及业务系统等实现数据库交换。典型应用场景是工厂生产数据实时监视、电力调度、节能环保、智能制造、交通监视及控制、航空管制、水利水文、实时仿真等。

实时数据存储管理系统需要解决高速的数据并发访问问题，包括高频次的并行写入、高速的实时数据、历史数据读取等。在实现上，现有做法通常是将所有的数据访问和管理请求集合到同一个系统服务模块，同时对外提供数据读写请求的响应。这种实现方法基于并发访问控制的优劣，系统性能上有着巨大的差异。通常受限于计算机IO系统和多任务同步技术的瓶颈，难以达到理想的性能表现。

发明内容

为克服现有技术的不足，本发明的目的在于提供一种通用实时数据存储管理系统及其实现方法，能快速开发构建电力自动化系统，能对各种电力自动化系统进行运行支持。

为完成上述目的，本发明采用以下具体技术方案：

一种通用实时数据存储管理系统，其特征在于：所述系统包括服务器以及客户端：

所述服务器包括主系统管理模块、数据查询服务模块、数据归档服务模块、数据缓存服务模块；

所述主系统管理模块与所述客户端连接，用于实现数据客户端对服务器访问的权限管理和控制，以及数据库模型创建、修改、删除；其中数据库模型包括层次模型、数据同步模型、数据订阅模型；

所述数据查询服务模块与所述数据客户端连接，用于用户查询数据库模型信息、实时数据和历史数据；所述数据查询服务模块与所述主系统管理模块连接，以预定周期向所述主系统管理模块发送数据查询服务模块运行状态报告，其中，所述数据查询服务模块运行状态报告包括所述数据查询服务模块的模块标志、所述数据查询服务模块的模块运行时长以及用户查询数据内容；

所述数据缓存服务模块与所述客户端连接，用于接收写入的数据并快速落盘，形成磁盘实时缓存文件暂存实时数据；所述数据缓存服务模块与所述主系统管理模块连接，以预定周期向所述主系统管理模块发送数据缓存服务模块运行状态报告，其中，所述数据缓存服务模块运行状态报告包括所述数据缓存服务模块的模块标志、所述数据缓存服务模块的模块运行时长以及磁盘实时缓存文件剩余内存；

所述数据归档服务模块与所述主系统管理模块连接，以预定周期向所述主系统管理模块发送数据归档服务模块运行状态报告，其中，所述数据归档服务模块运行状态报告包括所述数据归档服务模块的模块标志、订单数据归档服务模块的模块运行时长；

且当所述磁盘实时缓存文件超过缓存文件大小阈值时，所述主系统管理模块向所述数据归档服务模块发送指令，使得所述数据归档服务模块将所述数据缓存服务模块形成的磁盘实时缓存文件中的数据建立索引，将所述磁盘实时缓存文件中的数据写入磁盘历史归档文件，形成数据库；

所述客户端通过通信协议与所述服务器连接，向用户提供写入数据和查询服务。

本发明还进一步采用以下优选技术方案：