[发明专利]一种在REDIS上实现的存储大量时序数据的方法

权利要求书

1.一种在REDIS上实现的存储大量时序数据的方法，其特征在于，包括以下步骤：

S1基于Redis的SDS数据结构实现Gorilla压缩算法：首先实现数据流对象“timeSeriesStream”，然后基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中，创建iterator数据结构，其中，“timeSeriesStream”包括时序数据起始时间、最近一次插入数据的时间戳、两次时间戳间隔“prev_timestamp_delta”、上一次时间点对应的时序数据以及基于二进制OR运算结果；

S2基于Redis对象“redisObject”实现时间序列存储对象“TimeSeries”，“TimeSeries”用来管理一个时间序列相关数据的存储，通过Redis字典结构以Key Value的形式记录所有

时序数据内容， 其中，Key 为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；

S3将时序数据的键值经过压缩后存储到Redis字典中，启用二进制压缩算法，将整个字典进行压缩存储；

S4在Reids的命令解析层面中实现基于时序数据对象的CRUD操作；

S5基于Redis的RDB协议实现时序数据的持久化存储，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；

S6基于Redis的AOF持久化协议实现持久化存储，包括解析对应的相关命令，并以AOF文件格式存储；

S7结合Redis Cluster实现分布式高并发：实现时序数据标识的一致性Hash算法，根据计算得到的Hash值与群集节点id将不同时序标识和对应数据分配存储到不同节点，并通过Redis主备技术实现数据冗余。

2.根据权利要求1所述的在REDIS上实现的存储大量时序数据的方法，其特征在于，S1具体包括：

S11实现基础的数据流对象“timeSeriesStream”，包括时序数据起始时间、最近一次插入数据的时间戳、两次时间戳间隔“prev_timestamp_delta”、上一次时间点对应的时序数据以及基于二进制OR运算结果；

S12实现基础的时序数据插入操作，基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中；

S13创建iterator数据结构，实现遍历数据流的接口。

3.根据权利要求1所述的在REDIS上实现的存储大量时序数据的方法，其特征在于，S2具体包括：

S21实现基础的double值与字符串转换方式，包括Hex字符串与数值字符串；

S22通过Redis字典结构以Key Value的形式记录所有时序数据内容，其中，Key为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；

S23基于Redis字典实现插入时序数据的方法；

S24基于Redis字典实现查找指定Key对应的时序数据的方法，查询时需要传入时序数据标识以及起始时间与结束时间，通过调用“timeSeriesStream”提供的遍历方法进行遍历；

S25实现“timeSeriesStream”的统计查询方法，包括指定时序数据标识对应的数据总数，起始时间，结束时间。

4.根据权利要求1所述的在REDIS上实现的存储大量时序数据的方法，其特征在于，S5具体包括：

S51定义新的Redis对象枚举标明所要持久化存储的对象类型为时序数据；

S52基于Redis RDB技术，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；

S53从RDB数据库中读取SDS数据及中间状态数据，以“timeSeriesStream”的数据结构返回给读取方法。

5.根据权利要求1所述的在REDIS上实现的存储大量时序数据的方法，其特征在于，S7具体包括：

S71实现时序数据标识的一致性Hash算法，计算Hash值；

S72根据Hash值与群集节点id进行计算，将不同的时序标识及对应的数据分配存储到不同的节点；

S73通过Redis的主备技术，实现数据冗余。