[发明专利]一种结构化海量实时数据的动态存储优化方法

权利要求书

1.一种结构化海量实时数据的动态存储优化方法，其特征在于，所述方法步骤如下：

S1：设定数据甄别规范和时间阈值；

S2：读取结构化实时数据；

S3：筛选并标记出与甄别规范相对应的实时数据；

S4：建立动态双缓存区，用于接收筛选并标记的实时数据；

S5：对动态缓冲区中的标记数据与非标记数据分别建立混合索引；

S6：将动态缓存区中小于时间阈值的标记数据和非标记数据分别存入到动态实时数据库的不同区域中，并使用内存池技术对内存进行管理；

S7：若动态缓存区中的标记数据或非标记数据超过时间阈值，则将该动态缓存区超过时间阈值的数据存入到关系型历史数据库中；

S8：将实时数据库中超过时间阈值的内存索引与硬盘索引合并；

S9：在索引合并完成后，将实时数据库中的实时数据存入到关系型历史数据库中；

所述步骤S4还包括有：

S41：统计当前标记数据量占总数据量的比例；

S42：在内存中分别设置有容量相同的第一缓存区和第二缓存区；

S43：根据统计比例动态划分两个缓冲区中标记数据和非标记数据所占缓冲区空间的大小；

S44：将采集到的数据筛选并标记后，根据标记写入第一缓存区中，并开始存储数据；

S45：当第一缓存区被写满后，将采集到的数据筛选并标记后根据标记写入第二缓存区中；

S46：当第二缓存区被写满后，回到第一缓存区起始处，用覆盖的方式把新采集的数据筛选并标记后写入第一缓存区；

S47：返回步骤S44。

2.如权利要求1所述的结构化海量实时数据的动态存储优化方法，其特征在于，所述步骤S5还包括有：

S51：对结构化数据采用列存储结构，将字段值按照数据字典排序存储；

S52：将某长度的数据按照时间顺序作为一个数据块进行保存；

S53：将标记数据与非标记数据分开存入至不同数据块中；

S54：在每个数据块中建立块内索引；

S55：根据数据块的时间属性建立时间索引，用于管理数据块。

3.如权利要求1所述的结构化海量实时数据的动态存储优化方法，其特征在于，所述步骤S6还包括有：

S61：将内存数据库存储区域划分为非标记数据区和标记数据区；

S62：根据统计得到的当前标记数据量占总数据量的比例，动态设定标记区和非标记区；

S63：设置标记数据区和非标记数据区的访问优先级，当检索数据时优先检索标记数据区；

S64：根据数据标记将数据存入指定区域。

4.如权利要求1所述的结构化海量实时数据的动态存储优化方法，其特征在于，所述步骤S7还包括有：

S71：将动态缓冲区数据进行分类，分为时间标签，质量码和数值三类；

S72：对时间标签，质量码和数值三种数据类型分类压缩；

S73：将压缩后的数据存入关系型历史数据库。

5.如权利要求1所述的结构化海量实时数据的动态存储优化方法，其特征在于，所述步骤S8还包括有：

S81：建立两个内存索引，索引A和索引B，系统最开始启动时，索引A处于工作状态，索引B处于休眠状态；

S82：当实时数据库中数据超过时间阈值需要存入关系型历史数据库时，此时索引A不再向其中添加数据；系统中索引B开始工作，为新存入实时数据库的数据建立索引；

S83：当索引A中的数据完全合并到历史数据库中时，索引A进入休眠状态；

S84：索引A和索引B交替工作。

6.如权利要求1所述的结构化海量实时数据的动态存储优化方法，其特征在于，所述步骤S9还包括有：

S91：实时数据库中实时索引与历史数据库中的索引进行合并；

S92：对待存储数据进行分类，分为时间标签，质量码和数值三类；

S93：根据数据类型不同进行数据分类压缩；

S94：将压缩后的数据存入历史数据库。