[发明专利]一种基于图算法的文件感知恢复方法及装置

说明书

本申请公开了一种基于图算法的文件感知恢复方法及装置，该方法包括：获取分布式文件系统中的元数据信息，根据所述元数据信息生成对应的网络流图，采用预设的图算法对所述网络流图进行文件感知恢复分析，得到每一轮次所需恢复的目标文件信息，根据所述目标文件信息进行对应的文件恢复从而恢复得到对应的目标文件。通过实施本申请，能解决现有技术中存在的文件恢复效率较低、无法基于文件级的整体文件恢复等问题。

技术领域

本申请涉及云存储技术领域，特别是涉及一种基于图算法的文件感知恢复方法及装置。

背景技术

在大规模云存储系统中，数据的可靠性至关重要。为了保障数据的可靠性和可用性，纠删码技术应运而生。相比于传统的副本技术，纠删码技术可以用更低的存储成本来保证相同的数据可靠性，也因此在分布式云存储系统中得到广泛、大规模的应用。但当系统发生硬件故障导致数据丢失需要恢复时，纠删码的恢复开销相比于传统的副本技术更大。以RS(k，r)编码为例，恢复一个数据块需要传输k个数据块，如果按照RS编码恢复文件，其恢复时间为副本技术的k倍。其中，RS是指纠删码Reed-Solomon。

为了降低纠删码的恢复延迟，前人提出一系列方案，其中包括从上层应用中获取数据访问特征从而优先恢复热点数据的方法，又包括从底层设备角度进行流水线加速恢复的方法。但优先恢复热点数据的方法可能由于底层设备的调度而受到影响，同时也没考虑全局的纠删码数据、校验及节点间的映射关系，这就导致其文件恢复的效率明显较低。而流水线加速恢复方法则是从底层设备和数据块的角度出发，没有从文件的角度来考虑全局，所以很有可能出现恢复了多个文件的部分数据，但由于每个文件并没有被完全恢复，从而无法使用，影响用户体验。

因此，亟需提出一种文件感知恢复的方案。

发明内容

为克服上述现有技术存在的不足，本申请之目的在于提供一种基于图算法的文件感知恢复方法及装置，能解决现有技术中存在的文件恢复效率较低、无法完整地对一个文件进行整体恢复等问题。

为达上述及其它目的，本申请提出一种基于图算法的文件感知恢复方法，包括如下步骤：

获取分布式文件系统中的元数据信息，所述元数据信息包括损坏节点上的待恢复文件与条带间的映射、条带与数据块间的映射、数据块与网络节点间的映射、所述待恢复文件的访问频率以及纠删码的编码参数；

根据所述元数据信息生成对应的网络流图；

采用预设的图算法对所述网络流图进行文件感知恢复分析，得到每一轮次所需恢复的目标文件信息，所述目标文件信息包括当前轮次所需恢复的目标文件、所述目标文件中丢失的目标条带或目标数据块，以及所述目标条带或目标数据块所在的网络节点；

根据所述目标文件信息进行对应的文件恢复，从而恢复得到所述目标文件；所述目标文件为所述待恢复文件中的至少一个。

可选的，所述根据所述元数据信息生成对应的网络流图包括：

将所述待恢复文件、所述待恢复文件对应的条带、所述条带对应的数据块及所述条带对应的网络节点作为网络流图中的节点，依次连接所述节点，并增加源节点和汇节点，从而形成所述网络流图；

在考虑所述待恢复文件的访问频率和网络节点间的负载均衡情况下，根据所述待恢复文件的访问频率和纠删码的编码参数对应设置所述网络流图中每条边的权值和容量。

可选的，所述采用预设的图算法对所述网络流图进行文件感知恢复分析，得到每一轮次所需恢复的目标文件信息包括：

采用最大费用最大流算法对所述网络流图中的每条边进行文件感知恢复分析，得出每一轮次性价比最高的所需恢复的目标文件信息。

可选的，所述方法还包括：