[发明专利]基于云存储的键值存储系统在审
申请号: | 202110989569.5 | 申请日: | 2021-08-26 |
公开(公告)号: | CN113704261A | 公开(公告)日: | 2021-11-26 |
发明(设计)人: | 崔秋;唐刘;徐鹏 | 申请(专利权)人: | 平凯星辰(北京)科技有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2455;G06F16/27;G06F11/14 |
代理公司: | 北京知果之信知识产权代理有限公司 11541 | 代理人: | 卜荣丽 |
地址: | 100192 北京市海淀区西小口路*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 存储 键值 存储系统 | ||
1.一种基于云存储系统的键值存储系统,所述键值存储系统包括:
具有计算机可读指令的存储器;
用于执行所述计算机可读指令的一个或多个处理器,所述计算机可读指令控制所述一个或多个处理器以执行操作;
LSM-tree存储架构,所述LSM-tree存储架构包括多个层,其中每一个所述层是以SSTable为单位来存储数据,且全部所述SSTable被组织成一个树形;
内存缓存;
元数据块缓存;以及
数据块缓存;
其中所述云存储系统是由云本地存储和云远端存储组成的混合云存储系统。
2.根据权利要求1所述的键值存储系统,其特征在于:所述LSM-tree存储架构包括部署在所述云本地存储上的L0层到Li层,以及部署在所述云远端存储上的L(i+1)层及L(i+1)以下的其余层。
3.根据权利要求1或2所述的键值存储系统,其特征在于:所述元数据块缓存部署在所述云本地存储上用以存放与所述云远端存储设备上的每一个所述SSTable相对应的元数据块,其中所述元数据块用于对所述云远端存储上的每一个所述SSTable存储的数据进行索引。
4.根据权利要求1或2所述的键值存储系统,其特征在于:所述键值存储系统采用MASHtree编码对每一个所述SSTable的所述元数据块进行编码。
5.根据权利要求1或2所述的键值存储系统,其特征在于:所述数据块缓存部署在所述云本地存储上用于存放与所述云远端存储上的所述SSTable相对应的热数据块。
6.根据权利要求1或2所述的键值存储系统,其特征在于:所述数据块缓存的空间被划分为多个桶容器,其中每一个所述桶容器包括来自所述云远端存储上的所述SSTable中的热数据块并通过数据管理查找方法根据所述数据块对应的所述SSTable的文件名进行管理和访问。
7.根据权利要求6所述的键值存储系统,其特征在于:每一个所述桶容器被划分为特定大小的块并通过位图来管理所述块。
8.一种基于权利要求1到7的键值存储系统的数据读取请求处理方法,所述方法包括以下步骤:
所述键值存储系统接收读取一个目标数据的请求;
从所述键值存储系统的LSM-tree存储架构的L0层开始向下逐层查找每个层中的SSTable或与所述SSTable对应的元数据块以查找所述目标数据,其中在所述L0层中逐个查找所述L0层中的全部所述SSTable以查找并读取所述目标数据;
如在所述L0层中未查找到所述目标数据,则在所述LSM-tree存储架构的L1到Li层中基于键查找每层中的所述SSTable以查找并读取所述目标数据,其中所述L1到Li层中的每一个所述SSTable有一个最小键和一个最大键;
如在所述L0层到所述Li层中都未查找到所述目标数据,则在所述键值存储系统使用的云本地存储中的所述元数据块缓存中缓存的元数据块中基于键查找包括所述目标数据的所述SSTable,其中与所述键值存储系统使用的云远端存储设备中全部所述SSTable相对应的所述元数据块已被缓存在所述元数据块缓存中;
如在所述元数据块缓存中缓存的元数据块中查找到包括所述目标数据的目标SSTable且所述目标SSTable中的包含所述目标数据的数据块已被缓存在所述键值存储系统的数据块缓存中,则从所述数据块缓存中已被缓存的所述目标SSTable中的包含所述目标数据的数据块中读取所述目标数据,其中该元数据块中记录了该目标SSTable的索引信息;
如在所述元数据块中找到所述目标SSTable但所述目标SSTable中的数据块未被缓存在所述数据块缓存中,则在所述云远端存储中查找到所述目标SSTable,并将所述目标SSTable中包含所述目标数据的数据块从所述云远端存储缓存到所述云本地存储的所述数据块缓存中后再读取该目标数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平凯星辰(北京)科技有限公司,未经平凯星辰(北京)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110989569.5/1.html,转载请声明来源钻瓜专利网。