[发明专利]一种多数据中心背景下基于遗传算法的RS码节点修复方法

说明书

本发明公开了一种多数据中心背景下基于遗传算法的RS码节点修复方法。本发明的目的是针对传统数据修复方式在多数据中心背景下无法取得全局最优瓶颈带宽修复方案的问题，提出了一种基于遗传算法的最优瓶颈带宽路径选择方法，根据节点的计算能力及节点间的带宽，生成瓶颈带宽最大的修复树，有效降低了节点修复时所产生的网络带宽消耗和修复时间。本发明所述的一种多数据中心背景下基于遗传算法的RS码节点修复方法，克服了传统星型修复方案及流水线修复方案的修复时延较大的问题和传统树型修复方案带宽消耗较大的问题，减少冗余数据传输，提高修复效率，降低修复时间。

技术领域

本发明属于分布式纠删码存储系统领域，具体涉及一种多数据中心背景下基于遗传算法的RS码节点修复方法。

背景技术

分布式存储系统凭借其优秀的性能和低廉的构造成本成为了当前大规模数据存储领域的主流存储系统，但由于分布式存储系统的底层设备普遍采用廉价商用硬件，因此节点失效已成为一种常态。

为了防止由节点故障导致的数据失效所引起的业务损失，分布式存储系统常采用纠删码和多副本冗余数据来保证数据的完整性与可靠性，其中纠删码因为额外存储开销较小受到广泛应用，但当部分节点发生故障导致数据失效时，纠删码则需要读取其他数据块并进行编码解码来恢复失效数据，这一过程会产生大量的修复流量开销，且修复速度较慢。

发明内容

为了克服上述现有技术的不足，本发明提供了一种多数据中心背景下基于遗传算法的RS码节点修复方法，减小修复流量开销并加速修复效率。

以(n,k)RS码为例，将这组码的n个数据块分别存储于2个数据中心内，两个数据中心的网络拓扑可以表示为G＝(V,E,W),V＝{1，2,…,n₁,n₁+1,…,n}表示一组(n,k)码存储于集群中的n个节点，其中云1包含n1个修复节点，云2中包含n2个修复节点，n₁+n₂＝n；E＝{e₁₁,e₁₂,…,e_ij}表示集群内部的链路连接，e_ij表示节点之间的最优链路；W_ij表示节点之间的可用带宽，当i＝j时，表示节点的处理能力。当一个云中心内的发生节点失效时，云中心C1和云中心C2分别提供k1、k2个数据块作为provider节点对失效节点进行修复，k₁+k₂＝k。

纠删码数据修复时，所有provider节点所传输的数据块都到达修复节点后才能恢复失效数据块，此时树形修复拓扑中带宽最小链路将直接影响整个数据传递过程的效率，该链路被称为瓶颈链路，其可用带宽被称为瓶颈带宽，修复树的瓶颈带宽越大，代表该修复树传递修复数据的效率越高。因此构建修复树的问题可归纳为在图G中寻找一棵以重构点为根，且在C₁、C₂内分别包含k₁、k₂个provider节点的修复树，使其瓶颈带宽最大，可表达为下列公式，w(i,j)为当前链路可用带宽，D是链路上所传输的数据块，二者的商为传输时延：

T＝min(max{D/w(i,j)})

同时，由于树形拓扑本身比其他拓扑有额外的流量要进行传输，因此，修复树中的每个节点都对其子节点及本身的编码块做合并运算，从而节省传输流量开销，尽可能的减小网络负载，使修复过程对网络本身不造成较大影响。所以链路两端的计算时延可表示为下列公式，其中process_i表示节点i的计算能力：

t(v_i,v_j)＝D_i/process_i+D_j/process_j

当传统修复树加入节点处理能力这一条件后，本章的目标函数可表示为下列公式：