[发明专利]一种分布式存储系统的数据分片方法

说明书

技术领域

本发明涉及数据存储的技术领域，特别涉及一种分布式存储系统的数据分片方法。

背景技术

一个完整的存储系统至少要具备存储节点和控制节点，存储节点负责存放文件，控制节点作为文件索引，并负责监控存储节点间容量及负载的均衡，这2个部分合起来便组成一个存储系统。

传统的存储系统多采用串行架构，将存储节点和控制节点放在一台设备上，存储容量分配受到物理硬盘限制，当我们要部署新的存储设备扩容时。我们必须非常清楚这个存储设备是什么型号，什么接口和传输协议，必须清楚地知道存储系统中有多少块磁盘，分别是什么型号、多大容量，必须清楚存储设备和服务器之间采用什么样的连接线缆。为了保证数据安全和业务的连续性，我们还需要建立相应的数据备份系统和容灾系统。除此之外，对存储设备进行定期的状态监控、维护、软硬件更新和升级也是必须的。

传统存储系统存在采购成本高、系统封闭、维护性差、扩展性低、可用性受限等问题。如在需要进行系统扩容或者更换硬件时，通常需要停止服务并进行一系列的复杂操作才能成功；同时，由于架构上的局限性，传统存储仍然有几项重要的技术问题有待解决，例如单点故障问题、脑分裂问题等，使客户的数据存在丢失或者间断服务的风险。

存在以上缺点主要是因为传统的存储系统架构上的局限性，其将存储节点与控制节点部署在同一台设备上，即将软件与硬件设备捆绑提供存储服务，软件脱离了固有硬件无法在其他存储设备上运行，对硬件设备依赖性大，没有做到软硬件分离。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种分布式存储系统的数据分片方法。

为了达到上述目的，本发明采用以下技术方案：

一种分布式存储系统的数据分片方法，包括下述步骤：

S1、采用集群控制器管理多个节点，再将每个节点的物理存储资源进行汇总，同步至每个节点内存中进行记录；

S2、每台物理节点加入集群后，会对该节点的存储空间进行计算，之后计算出所有节点存储总和，将该节点存储容量除以全部节点的容量得到权重值，再用该权重值乘以默认虚节点个数，得到该节点的虚节点实际数目，再将该节点映射至虚节点列表中生成对应数目的虚节点；

S3、系统的分配空间请求根据负载均衡部分的一致性哈希算法得到物理节点的实际空间，具体为每个节点对应的虚节点作为哈希环中的元素，每个请求都计算哈希值，然后按顺序在哈希环上搜索节点，这样可以对存储空间进行实际的使用，每个读写请求都会首先通过虚拟磁盘来进行，虚拟磁盘将读写请求通过元数据提供的位置服务定位至具体的物理数据对象上，每个物理对象存在于不同的物理主机上，可以通过存有多个数据对象的副本来保证数据的可靠性；

优选的，每一个数据片切分成多个对象，并且数据对象又会创建多份副本，数据的读取过程如下：

(1)用户指定需要读取的虚拟磁盘名称、起始位置、长度等参数；

(2)系统根据虚拟磁盘名称计算虚拟编号，并在对象索引中搜索，如果不存在则直接失败返回；

(3)通过该虚拟磁盘编号计算对象编号，并通过计算哈希值与虚节点编号列表比对，从虚节点编号列表中获取固定副本数目的虚节点集合，并将该集合映射至物理节点中；

(4)如果节点与本机相同，则直接从本机获取数据对象并返回，如果不在本机则送至消息至目标节点，目标节点返回数据后逐级返回结果；

(5)如果目标节点读取失败，则从其它备选节点集群中读取数据，然后同步至损坏节点，之后逐级返回。

优选的，数据的写入过程为：

(1)用户指定需要写入的虚拟磁盘名称、起始位置、长度等参数；

(2)系统根据虚拟磁盘名称计算虚拟磁盘编号，并在对象索引中搜索，如果不存在则直接失败返回；

(3)通过该虚拟磁盘编号计算对象编号，并通过计算哈希值与虚节点编号列表比对，从虚节点编号列表中获取固定副本数目的虚节点集合，并将该集合映射至物理节点中；

(4)系统逐一向节点列表中的节点发送写入请求，全部返回成功后返回用户写结果，流程结束。

优选的，该存储系统包括集群控制器、空间分配模块以及空间管理模块，所述集群控制器、空间分配模块以及空间管理模块顺序连接；该系统通过集群控制器监控物理节点状态和保证数据传输的正确性；通过一致性哈希算法将每个存储节点的物理空间进行统一管理，组成逻辑存储空间；通过多副本切片方式保证系统的可靠性。

优选的，所述集群控制器，用于管理多个物理节点，再将每个物理节点的物理存储资源进行汇总，同步至每个节点内存中进行记录；