[发明专利]数据冗余方法及分布式存储集群

说明书

本申请提供一种数据冗余方法及分布式存储集群。该分布式存储集群以副本方式写入数据，以保证分布式存储集群的数据写入性能；并在数据变冷时，将副本方式存储的数据转换为纠删码方式存储，以减少磁盘消耗，提升分布式存储集群的得盘率。

技术领域

本申请涉及存储技术领域，尤其涉及一种数据冗余方法及分布式存储集群。

背景技术

在分布式存储集群中，通常采用数据冗余技术来保证数据的可靠性。当前数据冗余技术主要包括：副本技术和纠错码(英文：Erasure Coding，EC)技术。

其中，副本技术指将同一数据拷贝多份，分别存储于分布式存储集群的不同故障域。该技术实现简单，但系统的得盘率较低。以2副本(即，同一数据在分布式存储集群中存储2份)为例，得盘率为50％。

EC技术是将数据划分为若干数据分片，根据数据分片计算校验分片，然后，将各数据分片和校验分片写入不同故障域。参与同一校验计算的数据分片和计算得到的校验分片组成EC条带。可以看出，该技术在写入数据时，需要进行校验计算，无疑会增大系统开销，影响写入性能。

发明内容

有鉴于此，本申请提出一种数据冗余方法及分布式存储集群，用以在保证写入性能的前提下，减少磁盘消耗，提升分布式存储集群的得盘率。

为实现上述申请目的，本申请提供了如下技术方案：

第一方面，本申请提供一种数据冗余方法，应用于分布式存储集群，所述分布式存储集群包括至少一个集群节点，每一个集群节点包括至少一块用于存储数据的磁盘，每一块磁盘按照预设Block大小划分为多个Block，所述分布式存储集群配置有至少一个LUN，每一个LUN按照预设Segment大小划分为多个逻辑区间，每一个逻辑区间按照预设Block大小划分为多个子逻辑区间，每一个集群节点针对本节点上的每一块磁盘部署对应的磁盘管理模块，每一个Segment对应一个写入位图，所述写入位图中的每一位用于标识对应子逻辑区间是否写入过数据，每一个Segment还对应一个存储位图，所述存储位图中的每一位用于标识对应子逻辑区间的数据的存储方式，所述分布式存储集群采用N副本方式写入，其中，N大于等于2，所述方法包括：

所述至少一个集群节点中的目标集群节点在监测到未访问目标Segment的时长达到预设时长时，获取所述目标Segment对应的写入位图和存储位图；

所述目标集群节点遍历所述写入位图和所述存储位图，找到写入过数据且存储方式为副本方式的N个第一子逻辑区间；

所述目标集群节点从用于存储所述目标Segment对应数据的N个第一磁盘中，选择目标磁盘；

针对每一个第一子逻辑区间，所述目标集群节点向所述目标磁盘对应的目标磁盘管理模块发送用于读取第一子逻辑区间对应数据的读命令；

所述目标集群节点根据所述目标磁盘管理模块返回的各第一子逻辑区间的数据，计算校验数据；

所述目标集群节点向第二磁盘对应的第二磁盘管理模块发送用于指示将所述校验数据写入所述第二磁盘的写命令，所述第二磁盘为预先指定的用于存储所述目标Segment对应校验数据的磁盘；

所述第二磁盘管理模块从所述第二磁盘中为所述校验数据分配第一Block，并将所述校验数据写入所述第一Block；

针对每一个第一磁盘，所述目标集群节点向第一磁盘对应的第一磁盘管理模块发送用于指示删除指定数据副本的删除命令，以使所述N个第一子逻辑区间对应数据分别存储于N个第一磁盘中。

可选的，所述针对每一个第一磁盘，所述目标集群节点向第一磁盘对应的第一磁盘管理模块发送用于指示删除指定数据副本的删除命令之后，所述方法还包括：