[发明专利]一种基于纠删技术的大文件分布式备份方法及装置

权利要求书

1.一种基于纠删技术的大文件分布式备份方法，其特征在于，包括以下步骤：

S1：备份代理服务器根据接收客户端的大文件备份请求信息，对需要备份的大文件进行预读，将大文件数据逐步缓存至内存中；

S2：备份代理服务将预读进内存中的大文件数据以每个MB的固定块大小进行提取，得到n个源数据块，其中t为提取的文件块大小，t为正整数；

S3：设置纠删码的冗余级别为n+m，基于n个源数据块冗余计算出m个校验数据块；

S4：生成步骤S2拆解到的n个源数据块和步骤S3计算得到的m个校验数据块的元数据信息；将n+m个子数据块的元数据信息写入RocksDB；

S5：备份代理服务将步骤S2拆解到的n个源数据块和步骤S3计算得到的m个校验数据块异步、并行的分发至n+m个备份服务器，进行分布式备份存储；

S6：当所述n个源数据块和m个校验数据块成功备份存储至备份服务器后，备份服务器向备份代理服务发送备份成功的通知；当备份代理服务接收到n+m个备份服务器的备份成功通知后，表示所述n个源数据块和m个校验数据块已成功进行备份存储；

S7：备份代理服务对已备份大文件的备份数据块进行监控，当无法读取的备份数据块数量达到m个时，立即触发对大文件进行重新备份的操作。

2.如权利要求1所述的一种基于纠删技术的大文件分布式备份方法，其特征在于，所述步骤S3具体为：

S3-1：将步骤S2提取出的n个源数据块按列排列成向量D：

S3-2：假设校验块的数量为m，则构造一个维度的分布矩阵B，对矩阵B需要满足：

任意n行向量都是相互独立的，即任意n行向量组成的矩阵可逆，故以维的单位矩阵I作为分布矩阵B的前n行，再从范德蒙矩阵V中取m行作为分布矩阵B的后m行，从而构成完整的分布矩阵B，其中范德蒙矩阵V行数为k，列数为n，其第i行、第j列表示为，两两互异；矩阵I、V、B的表达式分别如下：

S3-3：将所述分布矩阵B与向量D相乘:

从乘积结果向量中即可分解得到m个校验块；

S3-4：从n个源数据块和m个校验块中任选n个数据块，按列排列成向量，从矩阵B中将所选n个数据块对应的行向量挑出来，组成新矩阵，即存在等式；因为从矩阵B任意n行组成的矩阵都可逆，所以矩阵存在逆矩阵，记为，显然有；在等式两边同时左乘矩阵，得到，即。

3.如权利要求1所述的一种基于纠删技术的大文件分布式备份方法，其特征在于，所述步骤S4的元数据信息包括但不限于身份标识号、生成的时间节点、大小、类型、所属原大文件信息。

4.如权利要求1所述的一种基于纠删技术的大文件分布式备份方法，其特征在于，所述步骤S6中所述n个源数据块和m个校验数据块成功进行备份存储后，备份代理服务删除预读缓存至内存的文件数据。

5.如权利要求1所述的一种基于纠删技术的大文件分布式备份方法，其特征在于，所述步骤S6中所述n个源数据块和m个校验数据块成功进行备份存储后，更新数据块对应的元数据，包括但不限于增加数据块备份存储位置信息以及备份时间的字段信息。