[发明专利]利用日志结构合并树将数据写入的存储设备及其方法有效

专利信息
申请号: 201710538198.2 申请日: 2017-07-04
公开(公告)号: CN109213432B 公开(公告)日: 2021-10-26
发明(设计)人: 吴章玲 申请(专利权)人: 华为技术有限公司
主分类号: G06F3/06 分类号: G06F3/06
代理公司: 广州三环专利商标代理有限公司 44202 代理人: 熊永强;李稷芳
地址: 518129 广东*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 利用 日志 结构 合并 数据 写入 存储 设备 及其 方法
【说明书】:

发明提供利用日志结构合并树将数据写入存储设备的方法以及存储设备,存储设备包含控制器和硬盘,该方法包括:所述控制器将第一写请求写入所述硬盘的第一逻辑层中的第一日志表以及所述控制器的内存中的第一数据写入表;其中,所述第一写请求携带第一键值对,所述第一逻辑层用于存储最新的日志表;所述第一数据写入表和所述第一日志表属于第一日志结构合并树。

技术领域

本发明涉及数据处理技术,尤其涉及利用日志结构合并树将数据写入的存储设备及其方法。

背景技术

近年来,随着NoSQL数据库(如BigTable系统)的流行,LSM树(Log StructuredMerge Trees,日志结构合并树)被人们熟知。LSM树是数据库的底层索引结构,LSM树的思想是将对数据的修改保存在控制器的内存中,为保证数据可靠性,还会同时向硬盘写日志(无序),当内存数据达到一定容量限制以后,再批量、有序地将修改的数据写入硬盘,从而提升写性能。

其中,数据要先写入硬盘的日志和控制器的内存,当内存中数据达到一定容量以后,将需要将内存中的数据写入表进行合并形成合并数据表(SST,Sorted String Table),即,排序的字符串表,并存储到硬盘的第一逻辑层(L0层)中,因此增加了对硬盘的IO(input/output,输入输出)次数。

发明内容

一方面,本发明实施例提供一种利用日志结构合并树将数据写入存储设备的方法,该存储设备包含控制器和硬盘。该方法包括:控制器接收第一写请求,其中,第一写请求携带第一键值对;将第一写请求的数据写入硬盘的第一逻辑层中的第一日志表以及控制器的内存中的第一数据写入表;其中,第一逻辑层用于存储最新的日志表,并且第一数据写入表和第一日志表属于第一日志结构合并树。本发明实施例提供的第一日志表持久化存储在第一逻辑层,并且与第一数据写入表内容相同。因此不再需要将内存中的数据写入表写到第一逻辑层,减少了对硬盘的IO次数。进一步的,由于第一数据写入表和第一日志表属于第一日志结构合并树,因此不会影响与其他日志结构合并树的并发性能。进一步的,当第一数据写入表的容量达到预定值时,控制器将第一数据写入表转为第一只读数据表,将第一日志表转为第二日志表,其中,第二日志表属于第一日志结构合并树。

进一步的,控制器读取所述第一逻辑层中的多个需合并的日志表;其中,多个需合并的日志表包含第二日志表。接着将多个需合并的志表合并得到合并数据表,并将合并数据表存储到硬盘的第二逻辑层。

进一步的,其中,当内存中的存储容量达到内存预定值时,控制器删除内存中的第二只读数据表。其中,第二只读数据表是内存中最早被转换得到的第一只读数据表。其中,第二只读数据表属于第一日志结构合并树。如此,可以释放内存空间,确保后续写入的数据可以存储在内存中。

进一步的,控制器为第一写请求在第一索引表中创建索引项,其中,当第一数据写入表的容量达到预定值时,将第一索引表转为第二索引表。

进一步的,控制器读取第一逻辑层中的多个需合并的日志表具体包括:从内存读取第一只读数据表,并根据第二索引表从第一逻辑层中读取与第二只读数据表对应的日志表。

进一步的,所述控制器接收第二写请求;其中,第二写请求携带第二键值对;控制器将第二写请求写入硬盘的第一逻辑层中的第三日志表以及内存中的第二数据写入表;其中,第二写请求携带第二键值对;第二数据写入表和第三日志表属于第二日志结构合并树。

由于第一数据写入表和第一日志表属于第一日志结构合并树,第二数据写入表和第三日志表属于第二日志结构合并树,因此,可以利用多个日志结构合并树将数据并行写入。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201710538198.2/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top