[发明专利]一种基于rockadb存储引擎增大内存的方法及系统

说明书

本发明公开了一种基于rockadb存储引擎增大内存的方法及系统，属于云计算存储领域；所述的S1利用内存池和内存池管理机制维护内存中的数据；S2利用自适应基数树索引将内存存储区中的数据替换原有的索引结构；S3利用修改后的预写管理系统对多日志文件进行管理实现其恢复功能；S4将内存存储区的数据进行落盘操作的功能，并对生成的SST文件进行管理；本发明的目的是提供一种基于rockadb存储引擎增大内存的方法及系统，在增大rocksdb存储引擎中内存的存储数据量的同时，要对rocksdb系统中的各个子系统进行适配和调整，以实现增大内存，提高存储引擎性能的目标。

技术领域

本发明公开一种基于rockadb存储引擎增大内存的方法及系统，涉及云计算存储技术领域。

背景技术

在这个高速发展的时代,互联网技术得到进一步发展。信息技术对社会经济有着显著的促进作用,而信息技术中的奠基石则是数据库技术,它是信息存储的载体。传统的磁盘数据库在数据库技术中一直扮演着重要的角色,并且在传统的OLTP场景中也取得了不错的成绩。然而,人们对应用响应速度的要求越来越高,在许多高实时性的场景下,传统的磁盘数据库表现得不尽人意。伴随着内存技术的发展,内存的容量越来越大,价格也越来越低,其优越的存取速度使得内存数据库开始在各种场景中被大量应用。内存容量不断提高，价格不断下跌，操作系统已经可以支持更大的地址空间(计算机进入了64位时代)，同时对数据库系统实时响应能力要求日益提高，充分利用内存技术提升数据库性能成为一个热点。

但是目前内存数据库依旧存在着诸多亟待解决的问题,包括数据安全性、系统快速恢复和疯狂占用内存等问题。同时还要对现在的各个不同系统、不同环境进行适配。为了增大内存以求得更快的存储和读取速度，就不得不考虑易失性内存本身得缺陷，譬如易失性、系统安全性、成本的权衡。

故先发明一种基于rockadb存储引擎增大内存的方法及系统以解决上述问题。

发明内容

本发明针对现有技术的问题，提供一种基于rockadb存储引擎增大内存的方法及系统，所采用的技术方案为：一种基于rockadb存储引擎增大内存的方法，所述的方法具体步骤如下：

S1利用内存池和内存池管理机制维护内存中的数据；

S2利用自适应基数树索引将内存存储区中的数据替换原有的索引结构；

S3利用修改后的预写管理系统对多日志文件进行管理实现其恢复功能；

S4将内存存储区的数据进行落盘操作的功能，并对生成的SST文件进行管理。

所述S1利用内存池和内存池管理机制维护内存中的数据的具体步骤如下：

S101通过内存池根据数据库当前的数据量进行自适应；

S102通过内存存储区对内存池的数据进行存储管理。

所述S2利用自适应基数树索引将内存存储区中的数据替换原有的索引结构的具体步骤如下：

S201利用自适应基数树的数据结构作为内存存储区数据的索引；

S202将内存存储区的每条数据的地址和长度作为自适应基数树索引的叶子节点；

S203通过索引找到对应的叶子节点，通过叶子节点找到数据；

S204使用数据库通用的结构对自适应基数树的进行适配。

所述S3利用修改后的预写管理系统对多日志文件进行管理实现其恢复功能的具体步骤如下：

S301通过部件改造对多预写日志文件进行管理；

S302将预写日志系统的全部文件恢复到内存存储区中。