[发明专利]一种多节点系统中冗余数据处理方法

说明书

本发明涉及一种多节点系统中冗余数据处理方法，选择存储风险值较高的节点和一个存储风险值较低的节点作为一个存储分组，使得每个分组中的平均存储风险值相对均衡，避免了冗余数据分布的若干节点均为故障频发的节点的情况，将冗余数据分布到这样存储风险均衡的分组中，方便了数据维护和降低了数据丢失风险。

【技术领域】

本发明属于数据存储领域，尤其涉及多节点冗余数据处理方法。

【背景技术】

一般情况下，一台机器对外提供的吞吐最高也只能达到200MBps，若采用通常的机器镜像即几台机器上的数据完全一致的方式，修复12TB的数据需要耗时20多个小时，考虑到正常的服务压力，修复的时间将达到几十个小时。

现有技术中提出了多节点中数据存储处理方式，将数据切分为多个库，并复制几份冗余，同一库的不同冗余分布存储于不同机器的不同位置，提高了修复速度。但是现有技术中将冗余数据分布在不同机器上时，采用的是随机方式，对不同机器没有加以选择，造成了相同数据分布的机器都可能是故障频发机器，因此造成数据维护困难和提高了数据丢失风险。

基于上述问题，现在亟需一种新的多节点冗余数据存储方法，将节点按照存储风险值进行分组，使得每个分组的平均存储风险值相对均衡，将冗余数据分布到每个分组中，方便了数据维护和降低了数据丢失风险。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种分布式系统中数据存储方法。

本发明采用的技术方案如下：

一种多节点系统中冗余数据处理方法，该方法包括如下步骤：

(1)将数据切分成k个数据片段，对每个数据片段复制；

(2)将数据片段和对应的复制数据片段分别存储到从多个节点中选择的两个节点中，直到k个数据片段分组中的数据片段和复制数据片段都存储到k个存储分组中；

(3)当存储分组中的一个节点发生故障时，根据上述存储分组中的另一个节点存储的数据片段或复制数据片段，对上述发生故障的节点进行修复。

本发明的有益效果包括：选择存储风险较高的节点和一个存储风险较低的节点作为一个存储分组，使得每个分组中的平均存储风险相对均衡，避免了冗余数据分布的若干节点均为故障频发的节点的情况，将冗余数据分布到这样存储风险均衡的分组中，方便了数据维护和降低了数据丢失风险。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明多节点系统的结构图。

图2是本发明多节点系统中冗余数据处理方法的流程图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

参见附图1，是本发明所应用的多节点系统，该系统包括多个计算节点。

参见附图2，一种多节点系统中冗余数据处理方法，该方法包括如下步骤：

(1)将多节点系统中的m个节点i按照存储容量、运行负载和故障频率按照下述公式(a)计算确定每个节点的存储风险值R_i:

R_i＝S_i×P_i+1/F_i×Q_i+G_i×T_i (a)；