[发明专利]分布式存储的方法、装置和系统在审
申请号: | 201310050257.3 | 申请日: | 2013-02-08 |
公开(公告)号: | CN103984607A | 公开(公告)日: | 2014-08-13 |
发明(设计)人: | 冯斌;黄澄;龚学文 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F12/08 |
代理公司: | 北京龙双利达知识产权代理有限公司 11329 | 代理人: | 王君;肖鹂 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 存储 方法 装置 系统 | ||
1.一种分布式存储方法,其特征在于,包括:
对数据文件进行分割,生成K个数据切片,对所述K个数据切片中的每个数据切片进行分割,针对每个数据切片生成M个数据块,并且采用冗余算法对所述M个数据块进行校验编码,生成N个校验块;
利用随机算法确定与所述M个数据块或N个校验块中的一个数据块或一个校验块对应的第一物理存储节点,并且基于所述第一物理存储节点按照符合预设规则的第一排序方式确定至少M+1个不同的物理存储节点;
将所述M个数据块和所述N个校验块中的至少M+1个块分别存储在所述至少M+1不同的物理存储节点上,所述K、M和N为正整数。
2.根据权利要求1所述的分布式存储方法,其特征在于,所述利用随机算法确定与所述M个数据块或N个校验块中的一个数据块或校验块对应的第一物理存储节点,包括:
对所述M个数据块或N个校验块中的一个数据块或校验块的标识符进行哈希计算生成关键值;
根据所述关键值确定与所述M个数据块或N个校验块中的一个数据块或者校验块对应的物理存储节点,并将所述物理存储节点作为所述的第一物理存储节点。
3.根据权利要求1所述的分布式存储方法,其特征在于,所述利用随机算法确定与所述M个数据块或N个校验块中的一个数据块或校验块对应的第一物理存储节点,包括:
对分割成所述M个数据块的所述数据切片的标识符进行哈希计算生成关键值;
根据所述关键值确定与所述M个数据块或N个校验块中的一个数据块或者校验快对应的物理存储节点,并将所述物理存储节点作为所述的第一物理存储节点。
4.根据权利要求1至3中的任一项所述的分布式存储方法,其特征在于,所述基于所确定的第一物理存储节点按照所述第一排序方式确定至少M+1个不同的物理存储节点,包括:
基于所述第一物理存储节点按照所述第一排序方式确定M+N个不同的物理存储节点,
其中所述将所述M个数据块和所述N个校验块中的至少M+1个块分别存储在至少M+1个不同的物理存储节点上,包括:
将所述M个数据块和所述N个校验块分别存储在所述M+N个不同的物理存储节点上。
5.根据权利要求1至4中的任一项所述的分布式存储方法,其特征在于,所述基于所述第一物理存储节点按照所述第一排序方式确定至少M+1个不同的物理存储节点,包括:
将所述第一物理存储节点与所述至少M+1个块中的1个块对应,并以所述第一物理存储节点的位置为基准,按照所述第一排序方式确定所述至少M+1个块中的其它至少M个块对应的物理存储节点,其中所述M+1个不同的物理存储节点包括所述第一物理存储节点;
或者,
以所述第一物理存储节点的位置为基准,按照所述第一排序方式确定所述至少M+1个块对应的物理存储节点,其中所述M+1个不同的物理存储节点不包括所述第一物理存储节点。
6.根据权利要求1至5中的任一项所述的分布式存储方法,其特征在于,所述不同的物理存储节点为硬盘,所述硬盘的数目等于或者大于M+1;
或者,
所述不同的物理存储节点为服务器,其中所述服务器的数目等于或者大于M+1;
或者,
所述不同的物理存储节点为机架,其中所述机架的数目等于或者大于M+1。
7.根据权利要求1至6中的任一项所述的分布式存储方法,其特征在于,还包括:
在存储有所述M个数据块和所述N个校验块中的至少M+1个块的所述至少M+1个不同的物理存储节点之一发生故障的情况下,将所述至少M+1个不同的物理存储节点中发生故障的物理存储节点上的数据恢复到所述物理存储节点所在的分布式存储系统中的热备用存储节点上。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310050257.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:电连接器
- 下一篇:新能源电动自行车的太阳能电池板的点胶装置