[发明专利]LSM-tree结构中数据文件的合并方法及装置

说明书

本发明公开了一种LSM‑tree结构中数据文件的合并方法及装置，其中，数据文件中记录有若干个以数据键值对形式存储在LSM‑tree结构中的数据条目和元信息条目；所述方法包括：针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目；若在缓存中未查找到该数据条目对应的元信息条目，则在数据文件中查找该数据条目对应的元信息条目，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存；根据数据条目对应的元信息条目，确定数据条目是否为应该保留的数据条目，若否，则在数据文件合并过程中删除数据条目。根据本发明提供的技术方案，加快了查找元信息条目的速度，有效地提高了合并数据文件的效率，优化了数据文件合并方式。

技术领域

本发明涉及互联网技术领域，具体涉及一种LSM-tree结构中数据文件的合并方法及装置。

背景技术

LSM-tree(日志结构的合并树，Log-Structured Merge-Tree)通过批量存储技术规避了磁盘随机写入问题，大幅度地提高了写性能。具体地，可利用 LSM-tree来存储数据条目和元信息条目。在LSM-tree结构中，通过数据文件来记录数据条目和元信息条目。当需要对数据文件进行合并时，针对数据文件中的每一条数据条目，都需要在数据文件中查找该数据条目对应的元信息条目，然后根据该数据条目对应的元信息条目来确定该数据条目是否为在合并过程中应该保留的数据条目。因此，现有技术中的这种合并方式存在着效率低下的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的LSM-tree结构中数据文件的合并方法及装置。

根据本发明的一个方面，提供了一种LSM-tree结构中数据文件的合并方法，数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目，该方法包括：

针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目；

若在缓存中未查找到该数据条目对应的元信息条目，则在数据文件中查找该数据条目对应的元信息条目，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存；

根据数据条目对应的元信息条目，确定数据条目是否为应该保留的数据条目，若否，则在数据文件合并过程中删除数据条目。

根据本发明的另一方面，提供了一种LSM-tree结构中数据文件的合并装置，数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目，该装置包括：

第一查找模块，适于针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目；

第二查找模块，适于若第一查找模块在缓存中未查找到该数据条目对应的元信息条目，则在数据文件中查找该数据条目对应的元信息条目；

写入模块，适于将第二查找模块在数据文件中查找到的该数据条目对应的元信息条目写入缓存；

确定模块，适于根据数据条目对应的元信息条目，确定数据条目是否为应该保留的数据条目；

处理模块，适于若确定模块确定得到数据条目不为应该保留的数据条目，则在数据文件合并过程中删除数据条目。