[发明专利]一种通用实时数据存储管理系统及其实现方法

权利要求书

1.一种通用实时数据存储管理系统，所述系统是一个分布式计算机系统，具有至少一个或以上服务器和一个客户端。

2.根据权利要求1所述的通用实时数据存储管理系统，其特征在于：所述系统包括服务器以及客户端：

所述服务器包括主系统管理模块、数据查询服务模块、数据归档服务模块、数据缓存服务模块；

所述主系统管理模块与所述客户端连接，用于实现数据客户端对服务器访问的权限管理和控制，以及数据库模型创建、修改、删除；其中数据库模型包括层次模型、数据同步模型、数据订阅模型；

所述数据查询服务模块与所述数据客户端连接，用于用户查询数据库模型信息、实时数据和历史数据；所述数据查询服务模块与所述主系统管理模块连接，以预定周期向所述主系统管理模块发送数据查询服务模块运行状态报告，其中，所述数据查询服务模块运行状态报告包括所述数据查询服务模块的模块标志、所述数据查询服务模块的模块运行时长以及用户查询数据内容；

所述数据缓存服务模块与所述客户端连接，用于接收写入的数据并快速落盘，形成磁盘实时缓存文件暂存实时数据；所述数据缓存服务模块与所述主系统管理模块连接，以预定周期向所述主系统管理模块发送数据缓存服务模块运行状态报告，其中，所述数据缓存服务模块运行状态报告包括所述数据缓存服务模块的模块标志、所述数据缓存服务模块的模块运行时长以及磁盘实时缓存文件剩余内存；

所述数据归档服务模块与所述主系统管理模块连接，以预定周期向所述主系统管理模块发送数据归档服务模块运行状态报告，其中，所述数据归档服务模块运行状态报告包括所述数据归档服务模块的模块标志、订单数据归档服务模块的模块运行时长；

且当所述磁盘实时缓存文件超过缓存文件大小阈值时，所述主系统管理模块向所述数据归档服务模块发送指令，使得所述数据归档服务模块将所述数据缓存服务模块形成的磁盘实时缓存文件中的数据建立索引，将所述磁盘实时缓存文件中的数据写入磁盘历史归档文件，形成数据库；

所述客户端通过通信协议与所述服务器连接，向用户提供写入数据和查询服务。

3.根据权利要求2所述的通用实时数据存储管理系统，其特征在于：

所述存储管理系统具有备用服务器，所述备用服务器包括数据缓存备用模块、数据归档备用模块以及数据查询备用模块,

所述数据缓存备用模块、数据归档备用模块以及数据查询备用模块均与所述主系统管理模块连接。

4.根据权利要求3所述的通用实时数据存储管理系统，其特征在于：

当所述主系统管理模块超过2-3个周期未接收到所述数据查询服务模块或数据归档服务模块或数据缓存服务模块中任一模块的运行状态报告，则认为对应模块故障或离线，重启对应模块并将对应模块的备用模块设置为新的主服务模块；

当所述数据查询服务模块或数据归档服务模块或数据缓存服务模块中任一模块发生故障或离线而进行主备切换时，由所述主系统管理模块将主备角色进行变更，并将新的主服务模块地址通知客户端，从而使得客户端请求发往新的主服务模块。

5.根据权利要求2所述的通用实时数据存储管理系统，其特征在于：

所述写入的数据包括顺序实时数据和乱序插入数据，

其中，所述顺序实时数据为按照时间前后顺序排列的时序数据，

所述乱序插入数据为不是按照时间前后顺序排列的时序数据。

6.根据权利要求5所述的通用实时数据存储管理系统，其特征在于：

所述数据缓存服务模块将所述顺序实时数据和乱序插入数据在系统缓存中分开存放，形成实时数据缓存文件和乱序插入数据缓存文件，且所述顺序实时数据缓存文件和乱序插入数据缓存文件内部按照接收数据的顺序进行排列。

7.根据权利要求6所述的用实时数据存储管理系统，其特征在于：

所述数据归档服务模块将所述顺序实时数据缓存文件建立索引，直接形成顺序数据归档文件，

所述数据归档服务模块首先对所述乱序插入数据缓存文件按照所述时序数据的时间前后顺序进行排序，再将所述乱序插入数据缓存文件建立索引形成插入数据归档文件。