[发明专利]一种基于纠删码的存储数据重构方法和装置、存储节点

说明书

本发明实施例提供一种基于纠删码的存储数据重构方法和装置、存储节点，通过确定启动故障恢复阈值，启动故障恢复阈值小于等于条带存储数据块数量与纠删码重构最少数据块数量的差值，且大于等于1；对于故障数据块数量达到启动故障恢复阈值的条带，启动该条带的故障恢复；利用该条带的非故障数据块进行数据重构。相比于现有技术减少了进行故障恢复的次数，从而减轻了系统的带宽消耗，使得系统更稳定，提高了系统的业务性能。

技术领域

本发明涉及通信领域，尤其涉及一种基于纠删码的存储数据重构方法和装置、存储节点。

背景技术

近年来，随着信息资源和数据的爆炸性增长，分布式存储系统凭借高性能、高扩展、高可用、易管理等特点，成为云存储和大数据的基础和核心。但是由于硬件损坏和软件故障等原因，在数据存储过程中可能发生数据的损坏和丢失。云存储系统一般采用纠删码技术来提升容错能力，提高数据资源的使用效率和系统性能。纠删码在没有增加过量的存储空间的基础上，通常通过合理的冗余编码来保证数据的高可靠性和可用性。在云存储系统中，采用纠删码技术对数据进行保存，相对于完全复制技术，在很大程度上降低了系统的空间开销，但同时由于数据重构会带来巨大的网络开销，采用这种纠删码技术可能导致整个系统的网络或者部分节点的网络拥塞而无法提供服务，影响系统的性能。而且随着系统规模和磁盘容量增大，当前存储系统中部署的节点量越来越大，每天失效的节点数量也随之增多，数据恢复流量比重在总网络流量中还会不断增长，则会极大影响日常业务数据的访问。所以如何降低纠删码技术中的带宽消耗，保障业务性能是当前值得考虑的问题。

发明内容

本发明实施例提供的基于纠删码的存储数据重构方法和装置、存储节点，主要解决的技术问题是现有技术中纠删码技术进行存储数据重构时带宽消耗高，使得系统不稳定，业务性能不好的问题。

为解决上述技术问题，本发明实施例提供一种基于纠删码的存储数据重构方法，包括：

确定启动故障恢复阈值，启动故障恢复阈值小于等于条带存储数据块数量与纠删码重构最少数据块数量的差值，且大于等于1；

对于故障数据块数量达到启动故障恢复阈值的条带，启动该条带的故障恢复；

利用该条带的非故障数据块进行数据重构。

本发明实施例还提供一种基于纠删码的存储数据重构装置，包括：

启动故障恢复阈值确定模块，用于确定启动故障恢复阈值，启动故障恢复阈值小于等于条带存储数据块数量与纠删码重构最少数据块数量的差值，且大于等于1；

故障恢复启动模块，用于对于故障数据块数量达到启动故障恢复阈值的条带，启动该条带的故障恢复；

数据重构模块，用于利用该条带的非故障数据块进行数据重构。

本发明实施例还提供一种基于纠删码的存储节点，包括物理存储介质和处理器，处理器用于：

确定启动故障恢复阈值，并将启动故障恢复阈值分发到其它存储节点；启动故障恢复阈值小于等于条带存储数据块数量与纠删码重构最少数据块数量的差值，且大于等于1；

扫描本存储节点负责的各条带的故障情况，对于故障数据块数量达到启动故障恢复阈值的条带，启动该条带的故障恢复；

从本存储节点的物理存储介质以及其他存储节点的物理存储介质中提取该条带的非故障数据块进行数据重构。

本发明实施例还提供一种计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于执行前述的任一项的基于纠删码的存储数据重构方法。

本发明的有益效果是：