[发明专利]一种分布式存储系统的数据分片方法在审
申请号: | 201410189121.5 | 申请日: | 2014-05-06 |
公开(公告)号: | CN103929500A | 公开(公告)日: | 2014-07-16 |
发明(设计)人: | 刘跃 | 申请(专利权)人: | 刘跃 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 广州市华学知识产权代理有限公司 44245 | 代理人: | 黄磊 |
地址: | 510663 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 存储系统 数据 分片 方法 | ||
1.一种分布式存储系统的数据分片方法,其特征在于,包括下述步骤:
S1、采用集群控制器管理多个节点,再将每个节点的物理存储资源进行汇总,同步至每个节点内存中进行记录;
S2、每台物理节点加入集群后,会对该节点的存储空间进行计算,之后计算出所有节点存储总和,将该节点存储容量除以全部节点的容量得到权重值,再用该权重值乘以默认虚节点个数,得到该节点的虚节点实际数目,再将该节点映射至虚节点列表中生成对应数目的虚节点;
S3、系统的分配空间请求根据负载均衡部分的一致性哈希算法得到物理节点的实际空间,具体为每个节点对应的虚节点作为哈希环中的元素,每个请求都计算哈希值,然后按顺序在哈希环上搜索节点,这样可以对存储空间进行实际的使用,每个读写请求都会首先通过虚拟磁盘来进行,虚拟磁盘将读写请求通过元数据提供的位置服务定位至具体的物理数据对象上,每个物理对象存在于不同的物理主机上,可以通过存有多个数据对象的副本来保证数据的可靠性。
2.根据权利要求1所述的分布式存储系统数据分片方法,其特征在于,每一个数据片切分成多个对象,并且数据对象又会创建多份副本,数据的读取过程如下:
(1)用户指定需要读取的虚拟磁盘名称、起始位置、长度参数;
(2)系统根据虚拟磁盘名称计算虚拟编号,并在对象索引中搜索,如果不存在则直接失败返回;
(3)通过该虚拟磁盘编号计算对象编号,并通过计算哈希值与虚节点编号列表比对,从虚节点编号列表中获取固定副本数目的虚节点集合,并将该集合映射至物理节点中;
(4)如果节点与本机相同,则直接从本机获取数据对象并返回,如果不在本机则送至消息至目标节点,目标节点返回数据后逐级返回结果;
(5)如果目标节点读取失败,则从其它备选节点集群中读取数据,然后同步至损坏节点,之后逐级返回。
3.根据权利要求1所述的分布式存储系统数据分片方法,其特征在于,数据的写入过程为:
(1)用户指定需要写入的虚拟磁盘名称、起始位置、长度参数;
(2)系统根据虚拟磁盘名称计算虚拟磁盘编号,并在对象索引中搜索,如果不存在则直接失败返回;
(3)通过该虚拟磁盘编号计算对象编号,并通过计算哈希值与虚节点编号列表比对,从虚节点编号列表中获取固定副本数目的虚节点集合,并将该集合映射至物理节点中;
(4)系统逐一向节点列表中的节点发送写入请求,全部返回成功后返回用户写结果,流程结束。
4.根据权利要求1所述的分布式存储系统数据分片方法,其特征在于,该存储系统包括集群控制器、空间分配模块以及空间管理模块,所述集群控制器、空间分配模块以及空间管理模块顺序连接;该系统通过集群控制器监控物理节点状态和保证数据传输的正确性;通过一致性哈希算法将每个存储节点的物理空间进行统一管理,组成逻辑存储空间;通过多副本切片方式保证系统的可靠性。
5.根据权利要求4所述的分布式存储系统数据分片方法,其特征在于,所述集群控制器,用于管理多个物理节点,再将每个物理节点的物理存储资源进行汇总,同步至每个节点内存中进行记录;
所述空间分配模块,根据负载均衡部分的一致性哈希算法得到物理节点的实际空间,这样可以对存储空间进行实际的使用,每个读写请求都会首先通过虚拟磁盘来进行,虚拟磁盘将读写请求通过元数据提供的位置服务定位至具体的物理数据对象上,每个物理对象存在于不同的物理主机上,可以通过存有多个数据对象的副本来保证数据的可靠性;
所述空间管理模块,空间管理模块是虚拟块存储子系统对外提供空间的管理模块,用于实现根据虚拟空间的创建、读写。
6.根据权利要求4所述的分布式存储系统数据分片方法,其特征在于,所述空间管理模块存储的数据交换由三个元素组成:偏移量、长度、数据,偏移量是针对本虚拟磁盘的位置,数据操作指针指向该数据块的偏移量位置,按照指定的数据长度,做数据写入或读取操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于刘跃,未经刘跃许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410189121.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种耐磨耐低温耐大气腐蚀钢的生产方法
- 下一篇:退锡废液的处理方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置