[发明专利]一种结构化海量实时数据的动态存储优化方法

说明书

本发明公开了一种结构化海量实时数据的动态存储优化方法，它包括：设定数据甄别规范和时间阈值；读取数据；筛选并标记数据；建立动态双缓存区；对动态缓冲区中的数据建立混合索引；将动态缓存区中小于时间阈值的数据存入到动态实时数据库中；若动态缓存区中的数据超过时间阈值，将超过时间阈值的数据存入到关系型历史数据库中；将实时数据库中超过时间阈值的内存索引与硬盘索引合并；索引合并后，将实时数据库中的数据存入到关系型历史数据库中。本发明取得的有益效果是：能够在接收数据时，采用双缓冲区交替接收实时数据，或对实时数据进行处理后可以不间断的接收实时数据，使内存效率达到最大，降低了接收数据的延迟性。

技术领域

本发明涉及计算机信息技术领域，特别是一种结构化海量实时数据的动态存储优化方法。

背景技术

随着科技的发展，云计算领域提出的大数据中一类重要的应用就是针对海量结构化数据的存储与检索。

在对数据的实时性要求高的场合，不仅需要实时的接收和发送海量数据，还要把数据实时存储到内存数据库，对超过时间阈值的数据还要存到磁盘历史数据库，如此复杂的工作单缓冲区很难胜任，保持高速数据存储的实时性是一个比较棘手的问题。

随后在内存数据库的概念提出以后，出现了各种不同的基于内存的实时数据库以及缓存实时数据的产品，基于内存的实时数据库需要将常用的或马上使用的数据缓存到内存中，在访问时可以直接从内存中取出数据，可以减少对磁盘等外部存储器的访问，从而提高数据的访问效率，但是数据存储位置和空间大小分配不能进行动态分配，降低了内存的空间利用率；同时，在对数据建立索引时一般只使用一个内存索引和一个数据库索引，在内存索引与历史数据库索引合并时，不能再添加新的索引，使得数据的实时存储出现了一定的延迟。

发明内容

有鉴于现有技术的上述缺陷，本发明的目的就是提供一种结构化海量实时数据的动态存储优化方法，能够在接收数据时，采用双缓冲区交替接收实时数据，或对实时数据进行处理后可以不间断的接收实时数据，使内存效率达到最大，降低了接收数据的延迟性。

本发明的目的是通过这样的技术方案实现的，一种结构化海量实时数据的动态存储优化方法，它包括有：

S1：设定数据甄别规范和时间阈值；

S2：读取结构化实时数据；

S3：筛选并标记出与甄别规范相对应的实时数据；

S4：建立动态双缓存区，用于接收筛选并标记的实时数据；

S5：对动态缓冲区中的标记数据与非标记数据分别建立混合索引；

S6：将动态缓存区中小于时间阈值的标记数据和非标记数据分别存入到动态实时数据库的不同区域中，并使用内存池技术对内存进行管理；

S7：若动态缓存区中的标记数据或非标记数据超过时间阈值，则将该动态缓存区超过时间阈值的数据存入到关系型历史数据库中；

S8：将实时数据库中超过时间阈值的内存索引与硬盘索引合并；

S9：在索引合并完成后，将实时数据库中的实时数据存入到关系型历史数据库中。

进一步，所述步骤S4还包括有：

S41：统计当前标记数据量占总数据量的比例；

S42：在内存中分别设置有容量相同的第一缓存区和第二缓存区；

S43：根据统计比例动态划分两个缓冲区中标记数据和非标记数据所占缓冲区空间的大小；

S44：将采集到的数据筛选并标记后，根据标记写入第一缓存区中，并开始存储数据；

S45：当第一缓存区被写满后，将采集到的数据筛选并标记后根据标记写入第二缓存区中；