[发明专利]用于分片存储数据的方法和系统在审
申请号: | 201711456087.3 | 申请日: | 2017-12-28 |
公开(公告)号: | CN110019234A | 公开(公告)日: | 2019-07-16 |
发明(设计)人: | 邓志强;李伟辉;张欣;黄子高;周娟 | 申请(专利权)人: | 中国电信股份有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/27;G06F3/06 |
代理公司: | 中国国际贸易促进委员会专利商标事务所 11038 | 代理人: | 李浩 |
地址: | 100033 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分卷 基本数据 关联数据 物理节点 映射 分片处理 分片存储 业务对象 存储 分布式数据存储 数据存储技术 业务对象数据 不均衡 查找 分配 | ||
1.一种用于分片存储数据的方法,包括:
对业务对象的基本数据进行分片处理,并将分片处理后的每组基本数据映射到一个或多个分卷标识;
将每个分卷标识映射到一个物理节点以将每组基本数据分别存储在相应的物理节点上;以及
在存储所述业务对象的关联数据时,查找所述关联数据对应的基本数据的分卷标识,将所述关联数据存储在该分卷标识映射到的物理节点上。
2.根据权利要求1所述的方法,还包括:
在当前分卷标识所对应的关联数据的数量达到阈值的情况下,将新增的与当前组的基本数据对应的关联数据归属于下一个分卷标识。
3.根据权利要求1所述的方法,其中,
不同的分卷标识映射到不同的物理节点。
4.根据权利要求1所述的方法,其中,所述对业务对象的基本数据进行分片处理的步骤包括:
按照预定的维度对业务对象的基本数据进行分片处理。
5.根据权利要求4所述的方法,其中,
所述维度包括:时间和/或功能。
6.根据权利要求4所述的方法,其中,在对业务对象的基本数据进行分片处理的步骤之前,所述方法还包括:
建立所述维度与分片规则的对应关系;
其中,基于与所述维度对应的分片规则对所述基本数据进行分片处理。
7.根据权利要求6所述的方法,其中,
所述分片规则包括:哈希分片、列表分片和取模分片中的至少一个。
8.一种用于分片存储数据的系统,包括:
分片单元,用于对业务对象的基本数据进行分片处理,并将分片处理后的每组基本数据映射到一个或多个分卷标识;
映射单元,用于将每个分卷标识映射到一个物理节点以将每组基本数据分别存储在相应的物理节点上;以及
存储单元,用于在存储所述业务对象的关联数据时,查找所述关联数据对应的基本数据的分卷标识,将所述关联数据存储在该分卷标识映射到的物理节点上。
9.根据权利要求8所述的系统,其中,
所述存储单元还用于在当前分卷标识所对应的关联数据的数量达到阈值的情况下,将新增的与当前组的基本数据对应的关联数据归属于下一个分卷标识。
10.根据权利要求8所述的系统,其中,
不同的分卷标识映射到不同的物理节点。
11.根据权利要求8所述的系统,其中,
所述分片单元用于按照预定的维度对业务对象的基本数据进行分片处理。
12.根据权利要求11所述的系统,其中,
所述维度包括:时间和/或功能。
13.根据权利要求11所述的系统,其中,
所述分片单元还用于建立所述维度与分片规则的对应关系;
其中,所述分片单元基于与所述维度对应的分片规则对所述基本数据进行分片处理。
14.根据权利要求13所述的系统,其中,
所述分片规则包括:哈希分片、列表分片和取模分片中的至少一个。
15.一种用于分片存储数据的系统,包括:
存储器;以及
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至7任意一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现如权利要求1至7任意一项所述的方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国电信股份有限公司,未经中国电信股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711456087.3/1.html,转载请声明来源钻瓜专利网。