[发明专利]LSM-tree结构中数据文件的合并方法及装置有效
申请号: | 201611184022.3 | 申请日: | 2016-12-19 |
公开(公告)号: | CN106599247B | 公开(公告)日: | 2020-04-17 |
发明(设计)人: | 赵安安;陈宗志 | 申请(专利权)人: | 北京奇虎科技有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22 |
代理公司: | 北京市浩天知识产权代理事务所(普通合伙) 11276 | 代理人: | 宋菲;刘云贵 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | lsm tree 结构 数据文件 合并 方法 装置 | ||
1.一种LSM-tree结构中数据文件的合并方法,所述数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目,所述方法包括:
针对数据文件中的一条数据条目,在缓存中查找该数据条目对应的元信息条目;
若在所述缓存中未查找到该数据条目对应的元信息条目,则在数据文件中查找该数据条目对应的元信息条目,并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存;
根据数据条目对应的元信息条目,确定所述数据条目是否为应该保留的数据条目,若否,则在数据文件合并过程中删除所述数据条目;
其中,数据条目的数据键和与该数据条目对应的元信息条目的数据键的至少一部分相同。
2.根据权利要求1所述的方法,所述缓存用于存储至少一条元信息条目;
所述在数据文件中查找该数据条目对应的元信息条目,将在数据文件中查找到的该数据条目对应的元信息条目写入缓存进一步包括:
若所述缓存中已存储有元信息条目,则在数据文件中查找该数据条目对应的元信息条目,将所述缓存中存储的元信息条目更新为在数据文件中查找到的该数据条目对应的元信息条目;
若所述缓存中未存储有元信息条目,则在数据文件中查找该数据条目对应的元信息条目,将在数据文件中查找到的该数据条目对应的元信息条目存储至缓存中。
3.根据权利要求1或2所述的方法,所述根据数据条目对应的元信息条目,确定所述数据条目是否为应该保留的数据条目进一步包括:
判断所述数据条目中的版本信息是否与所述数据条目对应的元信息条目中的版本信息相符;
若否,则确定所述数据条目不为应该保留的数据条目。
4.根据权利要求1或2所述的方法,所述根据数据条目对应的元信息条目,确定所述数据条目是否为应该保留的数据条目进一步包括:
根据数据条目对应的元信息条目中的过期时间信息,判断所述数据条目是否为过期数据条目;
若是,则确定所述数据条目不为应该保留的数据条目。
5.根据权利要求1所述的方法,还包括:
接收数据合并请求,所述数据合并请求中包括所述数据条目对应的数据键的至少一部分。
6.一种LSM-tree结构中数据文件的合并装置,所述数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目,所述装置包括:
第一查找模块,适于针对数据文件中的一条数据条目,在缓存中查找该数据条目对应的元信息条目;
第二查找模块,适于若所述第一查找模块在所述缓存中未查找到该数据条目对应的元信息条目,则在数据文件中查找该数据条目对应的元信息条目;
写入模块,适于将所述第二查找模块在数据文件中查找到的该数据条目对应的元信息条目写入缓存;
确定模块,适于根据数据条目对应的元信息条目,确定所述数据条目是否为应该保留的数据条目;
处理模块,适于若所述确定模块确定得到所述数据条目不为应该保留的数据条目,则在数据文件合并过程中删除所述数据条目;
其中,数据条目的数据键和与该数据条目对应的元信息条目的数据键的至少一部分相同。
7.根据权利要求6所述的装置,所述缓存用于存储至少一条元信息条目;
所述写入模块进一步适于:
若所述缓存中已存储有元信息条目,则将所述缓存中存储的元信息条目更新为所述第二查找模块在数据文件中查找到的该数据条目对应的元信息条目;
若所述缓存中未存储有元信息条目,则将所述第二查找模块在数据文件中查找到的该数据条目对应的元信息条目存储至缓存中。
8.根据权利要求6或7所述的装置,所述确定模块包括:判断单元和确定单元;
所述判断单元适于:判断所述数据条目中的版本信息是否与所述数据条目对应的元信息条目中的版本信息相符;
所述确定单元适于:若所述判断单元判断得到所述数据条目中的版本信息不与所述数据条目对应的元信息条目中的版本信息相符,则确定所述数据条目不为应该保留的数据条目。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司,未经北京奇虎科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611184022.3/1.html,转载请声明来源钻瓜专利网。