[发明专利]一种基于带宽感知的故障节点快速修复方法

说明书

本发明公开了一种基于带宽感知的故障节点快速修复方法，通过获取原始数据进行编码操作；设置源点服务器，由源点服务器向相邻服务器发送数据包确认服务器间链路实时带宽；源点服务器根据连通服务器反馈的实时带宽情况，构建部署数据传输链路；进行部署预检测，为失效节点构建纠删码修复网络；将存储失效数据块的服务器设置为失效服务器，根据源点服务器反馈实时带宽情况，进行修复预检测，对纠删码修复任务分布情况进行优化。本发明通过动态选择具有最优带宽的服务器参与纠删码的部署和修复任务，能够保证整个存储系统的负载均衡，并使得纠删码的部署和修复效率得到有效提高，进而提高了系统的可用性和可靠性。

技术领域

本发明具体涉及一种基于带宽感知的故障节点快速修复方法。

背景技术

近年来，大规模分布式存储系统存储的数据量快速增长。传统存储系统中，三重副本技术是一种常用的可靠性机制，使用副本替换失效节点完成故障修复。该方式简单易用，但它引入了难以负担的存储成本和三倍存储开销，这使得减少存储开销成为大规模存储系统中不可避免的任务。许多存储系统已经开始使用纠删码作为其可靠性机制。RS(Reed-Solomon)码作为一种被广泛运用的纠删码，其工作原理如下：当数据写入存储系统时，原始数据会被划分为k个大小相同的数据块联合生成矩阵完成编码过程。其中生成矩阵由k×k的单位矩阵和(n-k)×k的编码矩阵组成。编码矩阵中所有元素均为整数。生成矩阵与数据块的集合编码运算生成n个数据块，其中包含k个数据块和n-k个校验块。这n个块的集合称为条带。此后，条带中的数据块由n个存储组件存储，每个条带可以容忍n-k个块的失效，存储开销为n/k。

然而，纠删码存储系统受到很多性能方面的影响，其中之一是恢复出现故障的存储组件需要很长时间（可能是磁盘设备或存储服务器）。在部署RS码的存储系统中，默认的修复方式为从存储条带信息的服务器中随机选出k个数据块，将它们传输到失效服务器上，通过解码运算，重新恢复失效的数据块。修复一个数据块，需要连接其他k个可用数据块才能完成。而大型存储系统中，存储节点失效的发生非常频繁，漫长的恢复时间可能会影响服务质量甚至影响整个系统。由于各服务器之间存在实际带宽情况差异，完成节点修复的大部分时间消耗在数据的传输时间上。传统修复过程会随机选择服务器，该模式进一步延长了修复时间，导致资源浪费。

发明内容

本发明的目的在于提供一种基于带宽感知的故障节点快速修复方法，通过动态选取链路带宽来加速纠删码的部署和修复，同时，将故障节点快速修复。

本发明提供的这种基于带宽感知的故障节点快速修复方法，包括如下步骤

S1．获取原始数据，划分成k个数据块，规定每个数据块大小为ω；

S2．根据(n, k)纠删码设计生成矩阵，将k个原始数据块编码生成大小相同的n-k个校验数据块，规定每个数据块大小为ω；n个数据块组成的集合称作条带，分布于服务器集群中，并用于存储原始数据的信息；

S3．步骤S1~步骤S2在一个服务器中完成，设置这一个服务器为源点服务器，源点服务器选择n-1个服务器作为存储条带数据的预选服务器，构建部署数据传输链路；

S4．对部署数据传输链路进行部署预检测；

S5．被选中的服务器执行数据传输任务，传输完成后源点服务器删除多余数据块，完成纠删码部署网络的构建；

S6．若存储节点发生失效，则为失效节点构建纠删码修复网络；

S7．将发生数据失效的服务器称为失效服务器；失效服务器选择存储条带中其他数据的k个服务器参与纠删码修复任务，并构建修复数据传输链路；

S8．对修复数据传输链路进行修复预检测；

S9．对纠删码修复任务分布情况进行优化；被选中的服务器执行数据传输任务，将所需数据块传输到失效服务器上，失效服务器完成对失效数据的修复工作。