[发明专利]冷热数据的LRC码改进方法、计算机设备及存储介质

说明书

本发明提供了冷热数据的LRC码改进方法、计算机设备及存储介质，该方法包括：按照RS编码生成全局校验码；判断是否存在热数据，当不存在热数据或者用户没有区分冷热数据时，直接在(k,m)RS编码的基础上进行传统的(k,l,m)LRC编码,将k个数据盘分成l组，每组内的盘进行异或编码生成l个局部校验码；当存在热数据时，依据用户的实际工作场景以及读写频率的定义区分冷热数据。本发明结合LRC和冷热数据的划分，提出了一种在存储阵列下，有基于用户数据具体使用场景区别的冷热数据划分时，进行多个热区数据恢复提速，对LRC编码进行改进，当多个热数据同时损坏时，对多个热数据的降级读具有一定的提速的效果。

技术领域

本发明涉及数据处理技术领域，具体涉及一种冷热数据的LRC码改进方法、计算机设备及存储介质。

背景技术

面对海量数据的存储要求，为了提高存储系统的数据可靠性，保证数据收集节点能以很高的概率实现原始文件的重构，需要在存储原始数据的基础上，额外存储一定数量的冗余，使得在出现部分节点失效的情况下，系统仍然可以正常运行，数据收集节点仍然可以对原始文件实现解码恢复。同时，为了维持系统的可靠性，需要对失效的节点及时进行修复，因此，设计一个良好的节点修复机制十分重要。

纠删码(Erasure Code)属于编码理论中的一种前向纠错技术，最早应用于通信领域以解决数据传输中的丢失与损耗这类问题。由于纠删码技术在防止数据丢失取得了较好的效果，因此被引入存储领域。纠删码可以在保证相同可靠性的前提下有效地降低存储开销，因此纠删码技术被广泛地应用于各大存储系统以及数据中心例如微软的Azure、Facebook的F4等。

纠删码的种类众多，在实际存储系统中较常见的有应用在分布式环境下的RS码(Reed-Solomon Code，里德所罗门码)。RS码与两个参数k和r相关。给定两个正整数k和r，RS码将k个数据块编码为r个额外的校验块。而r个校验块基于范德蒙矩阵或柯西矩阵进行编码的方式就称为利用范德蒙矩阵或柯西矩阵编码的RS纠删码，具体编码过程中，基于范德蒙矩阵的RS纠删码为：

基于柯西矩阵的RS纠删码为：

上部分的k*k矩阵对应的就是k个原始数据块，下部分的r*k矩阵对应的就是编码矩阵，通过与原始数据D₁到D_k相乘，得到新添加的P₁到P_r就是编码所得到的r个校验数据。当其中任意做多r个数据在传输中出错或丢失，需要纠错时，即用剩余数据对应矩阵的逆矩阵与数据相乘，即会得到原始数据块D₁到D_k(推导过程不在赘述)。

以D₁到D_r数据丢失，进行解码为例，RS纠删码恢复数据方式为：

可知纠删码的核心概念是构建一个可逆的编码矩阵用以产生校验数据，其逆矩阵可经过计算恢复原始数据。常见的RS纠删码使用的是上面介绍的柯西矩阵或范德蒙矩阵，这样的优势是所得到的矩阵肯定可逆，其任意子矩阵也都可逆，并且矩阵的大小扩充简单。

如上可知使用RS下的解码任意错误下都需要读取k个数据块，多个错误可以使用多个解码模块并行同时解码，但是依然需要k个数据块的读取，而受限于现在存储介质(HDD,SSD等任一种同类介质)的读写速度，这个速度k较大时恢复的速度将极慢。

因此微软提出了局部校验码(LRC)的概念，LRC的方式如图1所示，一个(6,2,2)的LRC实现方式，这里的6指的是有6个用户数据块，如图1则是D1-D6，第一个2指的是额外增加的局部数据块2个，图1中即是l₁和l₂，其生成方式为直接进行异或，即是：p₁和p₂是全局校验块，通过RS生成，具体方式如上对RS的介绍。