[发明专利]基于LSM-Tree的数据存储方法及系统

权利要求书

1.一种基于LSM-Tree的数据存储方法，其特征在于，该方法是利用磁盘的物理特性，在磁盘中顺序写入数据，提高数据写入的速度；并在内存中维护一张索引表，索引表中记录所有存储数据的key对应的value在文件中的位置信息；同时增加闲时数据合并的操作，数据合并时将之前磁盘中的所有数据进行遍历，获取最新的数据内容以及所对应在磁盘中的位置，更新磁盘中存储的数据文件、内存中的索引表以及磁盘中保存的索引表。

2.根据权利要求1所述的基于LSM-Tree的数据存储方法，其特征在于，磁盘中存储的数据文件具体为：

每发生一次操作，均会磁盘中顺序追加一条数据；

其中，每一条数据包括用户存储的keyvalue、keysize、valuesize、addtime、crc以及op；

发生的操作包括用户的PUT操作、GET操作、DELETE操作、PUTHSET操作以及GETHSET操作。

3.根据权利要求1所述的基于LSM-Tree的数据存储方法，其特征在于，内存中的索引表的数据结构具体为：

内存中的索引表中保存着所有磁盘中数据的key、在磁盘中的起始位置以及数据所占据的字节数；其中，key为用户传入的key值，使用art-Tree来优化索引表的大小；

索引的字段包括用户传入value在磁盘的开始位置、占用空间的大小以及是否删除；

内存中的索引表根据用户要查找的key，快速定位当前key在磁盘中的位置，将该key所在的位置以及value(值)大小返回给用户。

4.根据权利要求1所述的基于LSM-Tree的数据存储方法，其特征在于，数据合并具体如下：

将当前所有文件中的数据进行遍历，删除重复的冗余数据；

将遍历后的文件进行保存；

数据合并时，设置当前状态为合并，在此合并状态下的用户请求将会单独保存至新文件；

合并结束后，将新文件与合并后的数据进行文件合并；

所有文件合并结束后，将最新的数据索引表更新为合并之后的数据索引；此时内存中的索引表为最新的数据索引表。

5.根据权利要求2所述的基于LSM-Tree的数据存储方法，其特征在于，PUT操作具体如下：

当执行PUT操作时，将PUT请求的key、value、key size、value size、crc、op以及addtime封装成一条记录，追加磁盘的数据文件中；

磁盘的数据文件追加成功后，进行内存中索引表的更新：

判断当前key在索引表中是否存在：

若存在，则根据用户的操作进行更新；

若不存在，则进行添加；

GET操作具体如下：

当执行GET操作时，根据用户传入的key去索引表中查询：

若key不存在，则给用户返回空；

若key存在，则判断当前key是否过期：

若key已过期，则返回空；

若key未过期，则根据索引表中保存的数据起始位置以及数据大小来获取数据；

GET操作使用布隆过滤器进行数据的存在性查找，布隆过滤器的特性为：如果数据不存在，则一定返回不存在。

6.根据权利要求2所述的基于LSM-Tree的数据存储方法，其特征在于，DELETE操作具体如下：

当执行DELETE操作时，根据用户传入的key去索引表中查找是否存在此key：

若不存在，则给用户返回key不存在；

若存在，则向数据文件中写入一条删除记录，再将key的过期标志位置为true，标明已删除；

DELETE操作使用布隆过滤器进行数据的存在性查找，布隆过滤器的特性为：如果数据不存在，则一定返回不存在。