[发明专利]云存储系统中考虑节点选择机制的故障节点数据重构方法

说明书

本发明公开一种云存储系统中考虑节点选择机制的故障节点数据重构方法，首先采用软件定义网络技术，高效的测量网络状态等信息；然后通过决策选择出参与构建修复树的供给数据节点及待定新生节点；接着通过为待定新生节点之间建立最大生成树，并结合决策选择出的供给数据节点到新生节点之间的路径共同构建出最优修复树；最后各供给数据节点按照构建出的最优修复树结构将存储的原数据块传至根节点进行数据重构，降低了修复过程中数据传输的时间，提高了修复效率。

技术领域

本发明涉及云存储技术领域，具体涉及一种云存储系统中考虑节点选择机制的故障节点数据重构方法。

背景技术

海量数据的剧增对传统存储系统的存储成本、数据可靠性提出了严峻的挑战。分布式存储系统将大量网络存储设备通过软件集合协同起来工作，共同对外提供数据存储和业务访问的功能，但随着数据规模和节点数量的增加，系统在频繁进行节点替换、硬件故障，软件升级等过程中，会导致存储系统中节点失效，造成存储数据丢失。此时，需要使用一定的冗余机制来保障保障系统的可靠性，即在节点发生故障失效后，能够重构出失效节点的数据。

多副本技术及纠删码技术是分布式存储系统中常用的两种冗余机制。在海量数据存储背景下，多副本技术不再适用大型存储系统，而纠删码技术虽然能够以极低的存储空间开销获得与多副本技术相同甚至更高的可靠性，但其在修复过程中产生的过高的网络流量和过长的修复时间会致使修复效率降低，因此在应用时需要提高纠删码在修复节点时的修复效率。

在现有提高纠删码的修复效率方法中，研究者多从改善纠删码本身的性能出发，虽然这些方法在某些特定场合下效果良好，但是对于实际中存储节点状态和网络自身状态的不断变化的情况，仅仅改善纠删码本身是不够的。考虑到基于纠删码的数据修复机制需要在云存储系统中选择一定数目的供给数据节点向新生节点传送数据，而现有的选择节点方法却存在复杂度过高而导致整个修复过程时延较长及流量过多。因此亟需设计一种合理的节点选择策略用于降低修复开销的同时提高存储系统的可靠性。

发明内容

本发明所要解决的是现有采用纠删码修复机制进行失效数据的恢复时因节点选择策略导致所导致的修复过程时延较长及流量过多的问题，提供一种云存储系统中考虑节点选择机制的故障节点数据重构方法。

为解决上述问题，本发明是通过以下技术方案实现的：

云存储系统中考虑节点选择机制的故障节点数据重构方法，包括步骤如下：

步骤1、利用软件定义网络技术实时监控全局网络状态信息；

步骤2、基于全局网络状态信息，构建云存储系统中所有存活的存储数据节点关于所选定指标的决策矩阵；

步骤3、对决策矩阵进行归一化处理得到规范化决策矩阵，并对规范化决策矩阵进行加权处理得到加权决策矩阵；

步骤4、取加权决策矩阵中各指标值的最大值作为加权决策矩阵的正理想解，取加权决策矩阵中各指标值的最小值作为加权决策矩阵的负理想解，并计算每个存活的存储数据节点到加权决策矩阵的正负理想解的距离；

步骤5、基于每个存活的存储数据节点到加权决策矩阵的正负理想解的距离计算每个存活的存储数据节点的相对贴近度；

步骤6、对所有存活的存储数据节点的相对贴近度进行排序，并选取相对贴近度较大的k个存活的存储数据节点作为供给数据节点；

步骤7、对于每个选定的供给数据节点，计算该供给数据节点到云存储系统中所有空闲的可用节点路径的可用带宽，并将可用带宽最大的路径上的空闲的可用节点作为该供给数据节点所对应的待定新生节点，据此可以得到每个供给数据节点到与其对应的待定新生节点的连接关系，并同时确定待定新生节点集合；

步骤8、对待定新生节点集合的所有待定新生节点使用Kruskal算法生成关于待定新生节点的最大生成树；