[发明专利]一种分布式存储系统的数据分片方法在审

专利信息
申请号: 201410189121.5 申请日: 2014-05-06
公开(公告)号: CN103929500A 公开(公告)日: 2014-07-16
发明(设计)人: 刘跃 申请(专利权)人: 刘跃
主分类号: H04L29/08 分类号: H04L29/08
代理公司: 广州市华学知识产权代理有限公司 44245 代理人: 黄磊
地址: 510663 广东*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 分布式 存储系统 数据 分片 方法
【权利要求书】:

1.一种分布式存储系统的数据分片方法,其特征在于,包括下述步骤: 

S1、采用集群控制器管理多个节点,再将每个节点的物理存储资源进行汇总,同步至每个节点内存中进行记录; 

S2、每台物理节点加入集群后,会对该节点的存储空间进行计算,之后计算出所有节点存储总和,将该节点存储容量除以全部节点的容量得到权重值,再用该权重值乘以默认虚节点个数,得到该节点的虚节点实际数目,再将该节点映射至虚节点列表中生成对应数目的虚节点; 

S3、系统的分配空间请求根据负载均衡部分的一致性哈希算法得到物理节点的实际空间,具体为每个节点对应的虚节点作为哈希环中的元素,每个请求都计算哈希值,然后按顺序在哈希环上搜索节点,这样可以对存储空间进行实际的使用,每个读写请求都会首先通过虚拟磁盘来进行,虚拟磁盘将读写请求通过元数据提供的位置服务定位至具体的物理数据对象上,每个物理对象存在于不同的物理主机上,可以通过存有多个数据对象的副本来保证数据的可靠性。 

2.根据权利要求1所述的分布式存储系统数据分片方法,其特征在于,每一个数据片切分成多个对象,并且数据对象又会创建多份副本,数据的读取过程如下: 

(1)用户指定需要读取的虚拟磁盘名称、起始位置、长度参数; 

(2)系统根据虚拟磁盘名称计算虚拟编号,并在对象索引中搜索,如果不存在则直接失败返回; 

(3)通过该虚拟磁盘编号计算对象编号,并通过计算哈希值与虚节点编号列表比对,从虚节点编号列表中获取固定副本数目的虚节点集合,并将该集合映射至物理节点中; 

(4)如果节点与本机相同,则直接从本机获取数据对象并返回,如果不在本机则送至消息至目标节点,目标节点返回数据后逐级返回结果; 

(5)如果目标节点读取失败,则从其它备选节点集群中读取数据,然后同步至损坏节点,之后逐级返回。 

3.根据权利要求1所述的分布式存储系统数据分片方法,其特征在于,数据的写入过程为: 

(1)用户指定需要写入的虚拟磁盘名称、起始位置、长度参数; 

(2)系统根据虚拟磁盘名称计算虚拟磁盘编号,并在对象索引中搜索,如果不存在则直接失败返回; 

(3)通过该虚拟磁盘编号计算对象编号,并通过计算哈希值与虚节点编号列表比对,从虚节点编号列表中获取固定副本数目的虚节点集合,并将该集合映射至物理节点中; 

(4)系统逐一向节点列表中的节点发送写入请求,全部返回成功后返回用户写结果,流程结束。 

4.根据权利要求1所述的分布式存储系统数据分片方法,其特征在于,该存储系统包括集群控制器、空间分配模块以及空间管理模块,所述集群控制器、空间分配模块以及空间管理模块顺序连接;该系统通过集群控制器监控物理节点状态和保证数据传输的正确性;通过一致性哈希算法将每个存储节点的物理空间进行统一管理,组成逻辑存储空间;通过多副本切片方式保证系统的可靠性。 

5.根据权利要求4所述的分布式存储系统数据分片方法,其特征在于,所述集群控制器,用于管理多个物理节点,再将每个物理节点的物理存储资源进行汇总,同步至每个节点内存中进行记录; 

所述空间分配模块,根据负载均衡部分的一致性哈希算法得到物理节点的实际空间,这样可以对存储空间进行实际的使用,每个读写请求都会首先通过虚拟磁盘来进行,虚拟磁盘将读写请求通过元数据提供的位置服务定位至具体的物理数据对象上,每个物理对象存在于不同的物理主机上,可以通过存有多个数据对象的副本来保证数据的可靠性; 

所述空间管理模块,空间管理模块是虚拟块存储子系统对外提供空间的管理模块,用于实现根据虚拟空间的创建、读写。 

6.根据权利要求4所述的分布式存储系统数据分片方法,其特征在于,所述空间管理模块存储的数据交换由三个元素组成:偏移量、长度、数据,偏移量是针对本虚拟磁盘的位置,数据操作指针指向该数据块的偏移量位置,按照指定的数据长度,做数据写入或读取操作。 

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于刘跃,未经刘跃许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201410189121.5/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top