[发明专利]一种基于分布式存储系统的可靠冗余方法及设备

说明书

本发明涉及分布式存储技术领域，公开了一种基于分布式存储系统的可靠冗余方法及设备，包括进行分布式系统分层；进行纠删策略选型；在节点层采用RS纠删算法生成节点层冗余数据，将数据流及节点层冗余数据缓存至各个节点中；在磁盘层采用XOR纠删算法生成磁盘层冗余数据，采用磁盘轮转工作策略将各个节点的缓存数据及磁盘层冗余数据分别对应写入各个磁盘中；根据不同数据丢失的情况进行不同恢复策略。本发明提高了数据的可靠性，保证数据在系统有少量节点损坏且同时正常节点有单个磁盘损坏的情况下，仍然可以进行数据恢复；本发明保证了磁盘的使用寿命，同时也提高了磁盘并行写入的效率；极大提升了单个磁盘损坏时本地数据重建的效率。

技术领域

本发明涉及分布式存储技术领域，具体地涉及一种基于分布式存储系统的可靠冗余方法及设备。

背景技术

近年来，随着互联网的技术发展，不管是在日常生活的大众用户的使用，还是在智慧城市、国家安全、科技发展等相关领域的推动下，存储数据呈爆炸式增长。数据存储的可靠性显得尤为重要，目前，数据存储基本上采用分布式存储系统，而为了保证数据的安全性、完备性和高可用性，需要提供一定的数据冗余技术。对于分布式存储系统数据存储冗余的方式主要有多副本和纠删码两种方式。多副本就是把数据复制成多份并分别存储到不同的节点上实现数据冗余。以双副本为例，双副本就是将数据存储为两个副本，当某个副本丢失时，可以通过另一个副本复制恢复数据，但这种方式会带来巨大的额外存储空间消耗，无形中提高了很大的成本。纠删码主要通过纠删码算法将原始的数据进行编码得到冗余数据，将原始数据和冗余数据存储到不同的节点上，以达到容错的目的。当原始数据或冗余数据丢失后，可通过剩余数据进行纠删码算法的解码操作恢复原始数据。

目前，大部分的分布式存储系统采用的冗余策略比较单一，同时仅支持一种级别的数据冗余，或采用服务器节点间的数据冗余，或采用磁盘阵列RAID。单一节点间的数据冗余，会将冗余数据分布到不同的节点上，这样可以保证一个或多个节点故障后数据可以恢复，但是数据恢复需要通过获取系统中其他节点的数据进行恢复，导致节点间有大量的数据交互占用网络的带宽资源。同时多个节点内如果有相同原始数据的数据分片丢失则无法进行恢复。大多场景下可能是某个节点的某个磁盘发生故障，这种情况下，替换磁盘后数据恢复也需要从获取其他节点的数据进行恢复，同样会占用网络带宽资源。而RAID技术目前由于需要RAID卡的支持会提高使用成本，且RAID技术目前在分布式存储系统中已经很少被采用。

因此，针对现存分布式存储系统数据恢复时，策略单一导致某些异常场景无法支持，且在一些重构场景会大量占用系统网络资源导致效率低下的问题，亟需一种能够对数据进行更高效且可靠恢复的存储冗余方法。

发明内容

本发明提供一种基于分布式存储系统的可靠冗余方法及设备，从而解决现有技术的上述问题。

第一方面，本发明提供了一种基于分布式存储系统的可靠冗余方法，包括以下步骤：

S1)进行分布式系统分层，分布式系统包括若干个节点，每个节点下挂载若干个磁盘，将节点作为分布式系统的上层，将磁盘作为分布式系统的下层；

S2)进行纠删策略选型，分布式系统采用RS+XOR双层冗余策略；上层节点间的冗余策略选择支持K+M的RS纠删策略，K为数据流的每个子块数据中的数据块数，M为与每个子块数据相对应的节点层冗余数据块数；下层磁盘间的冗余策略采用支持k+1的XOR纠删策略，k为单个节点中参与XOR纠删的数据块数；

S3)获取数据流，在节点层采用K+M的RS纠删算法生成与数据流对应的节点层冗余数据，将数据流以及节点层冗余数据缓存至各个节点中，获得各个节点的缓存数据；

S4)在磁盘层采用k+1的XOR纠删算法生成磁盘层冗余数据，采用磁盘轮转工作策略将各个节点的缓存数据以及磁盘层冗余数据分别对应写入各个磁盘中；

S5)判断是否需要进行数据重构，若是，则根据不同数据丢失的情况采用不同恢复策略进行数据重构；若否，返回步骤S3)。