[发明专利]一种分布式存储中的纠删码的编解码方法

说明书

本发明公开了一种分布式存储中的纠删码的编解码方法。现有的基于范德蒙编码矩阵方法计算复杂度非线性增长，影响了计算效率。本发明方法首先对纠删码进行截短操作，得到具有与母码相同校验位的截短码。编码时，首先设定整体上稀疏的二进制矩阵组成的编码矩阵，将任意两行全部置零后得到得到截短后的编码矩阵，利用截短后的编码矩阵和信息矩阵得到编码后的编码块矩阵。解码时，从校验块矩阵中中的两个校验块，与数据块矩阵所有数据排列成重建编码矩阵，删除全部置零的两行，插入两个校验块的行向量，求逆后与重建编码矩阵相乘，完成数据重建。本发明方法编解码过程中异或次数少、效率高，编解码效率优于基于范德蒙编码矩阵的方案。

技术领域

本发明属于云存储技术领域，具体是分布式存储数据编码技术领域，涉及一种分布式存储中的纠删码的编解码方法，具体是一种通过二进制稀疏矩阵对数据进行截短编解码的方法。

背景技术

随着云计算、大数据、5G、边缘计算技术以及电子商务、社交网络、视频分享等应用的蓬勃兴起，互联网的使用者贡献了越来越多的内容，数据在规模方面的显著特点是体量庞大和爆炸式增长，这对构建良好的存储系统提出了重大挑战。系统既要保证数据的可靠性，也要提供高可用性。传统的独立冗余磁盘阵列(Redundant Array of IndependentDisks，RAID)已无法满足大数据存储在可扩展性和经济成本上的需求。因此分布式存储系统在数据存储和数据管理上得到了极为广泛的应用。

分布式存储要保证数据的可靠性，常用的容错技术主要有两种：一种是多副本技术，通过简单的复制进行容错；另一种是纠删码容错技术，通过编码提供容错能力。常用的3副本复制方案虽然简单易行，但是存储空间利用率过低，导致存储空间浪费，且存在副本一致性不易维护的问题。对比之下，纠删码方案可以在保证相同数据容错能力的同时显著降低存储空间开销，在很大程度上降低了存储成本，但其通常采用基于范德蒙编码矩阵的方案，没有考虑编解码时的效率问题，当其数据集较大时要用到大量有限域GF(q)上的矩阵乘运算从而使计算复杂度非线性增长，极大地影响了计算效率。

所以只有提出一种计算高效且存储开销低的纠删码编码方法，才能真正解决纠删码在大规模分布式存储系统中的实际应用问题，提升系统响应速度、用户体验并降低存储成本。

发明内容

本发明的目的就是提供一种分布式存储中的纠删码的编解码方法，该方法采用二进制稀疏矩阵与截短的方案，配合矩阵乘框架，对纠删码进行高效的编解码，能够提升性能，减小存储开销。

本发明方法包括编码方法和解码方法。

本发明方法首先对纠删码进行截短操作，将长度为n、包含k个信息位及n-k个校验位的纠删码母码(n,k)删除t个信息位，得到截短码(n-t,k-t)；截短码与母码具有相同的校验位。

所述的编码方法具体是：

(1)设定整体上稀疏的二进制矩阵组成的编码矩阵其中，I是k×k的k×k

单位矩阵，φ_(n-k)×k为(n-k)×k的校验矩阵，对应Ψ_n×k第i行的编码向量为Ψ_i，i＝1,2,…,n；截短后的编码矩阵其中，Q_k×k由I_k×k将任意两行全部置零后得到；

(2)分布式系统中n个节点存储的码字表示为一个n×1的矩阵C，利用截短后的编码矩阵Ψ′_n×k以及的信息矩阵M得到编码后的编码块矩阵C＝Ψ′_n×k×M；信息矩阵M为k×1的列向量，其中，数据块d_j为一维数组，j＝1,2,…,k；