[发明专利]一种基于纠删技术的大文件分布式备份方法及装置

说明书

本发明公开了一种基于纠删技术的大文件分布式备份方法及装置，方法包括：备份代理服务器根据接收客户端的大文件备份请求信息，将大文件数据逐步缓存至内存中；备份代理服务将预读进内存中的大文件数据以每个MB的固定块大小进行提取，得到n个源数据块；设置纠删码的冗余级别为n+m，基于n个源数据块冗余计算出m个校验数据块；生成拆解到数据块的元数据信息；备份代理服务将数据块异步、并行的分发至n+m个备份服务器，进行分布式备份存储；备份代理服务对已备份大文件的备份数据块进行监控。本发明提升大文件备份速度，校验数据块还能以最小的冗余量给备份数据提供二次保护，节省备份存储空间的同时保证了备份数据的可靠性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于纠删技术的大文件分布式备份方法及装置。

背景技术

文件备份是指为防止系统出现操作失误或系统故障导致文件丢失，而将全部或部分文件集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。

对于文件备份，较为主流的备份系统基本是单点备份，即将备份目标文件通过网络传输到指定的某种存储介质中去，备份过程一般通过一台备份服务器完成，备份的介质也一般为单一的磁盘，或挂载在备份服务器上的单一存储逻辑卷，备份速度受备份服务器性能及备份介质的优劣影响较大。特别是针对大文件，其备份方式一般为串行读取后进行备份写入，这种方式导致对单一大文件备份时间过于漫长。

此外，备份模式确实会对备份后的数据进行二次保护，但因备份数据损坏而造成备份无法恢复的情况时有发生。在生产提出明确需要的情况下一般也只是机械的再多存一份备份数据，对存储容量造成了非常大的压力。

综上所述，传统备份的方式性能存在一定的瓶颈，特别是对大文件备份表现越发明显，另外缺少对备份数据二次保护的高效低耗的手段。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于纠删技术的大文件分布式备份方法及装置，将大文件分解成n个源数据块，结合纠删码技术基于n个源数据块冗余计算获得m个校验数据块，再对源数据块和校验数据块进行分布式备份存储从而实现大文件备份。本方法与传统的大文件备份方法相比，数据备份速率和安全性能得到了大幅度提升，以最小化冗余存储开销为备份数据提供二次保护，适用于大规模备份存储的应用场景。

为实现上述目的，本发明提供了一种基于纠删技术的大文件分布式备份方法，包括以下步骤：

S1：备份代理服务器根据接收客户端的大文件备份请求信息，对需要备份的大文件进行预读，将大文件数据逐步缓存至内存中；

S2：备份代理服务将预读进内存中的大文件数据以每个MB的固定块大小进行提取，得到n个源数据块，其中t为提取的文件块大小，t为正整数；

S3：设置纠删码的冗余级别为n+m，基于n个源数据块冗余计算出m个校验数据块；

S4：生成步骤S2拆解到的n个源数据块和步骤S3计算得到的m个校验数据块的元数据信息；将n+m个子数据块的元数据信息写入RocksDB；

S5：备份代理服务将步骤S2拆解到的n个源数据块和步骤S3计算得到的m个校验数据块异步、并行的分发至n+m个备份服务器，进行分布式备份存储；

S6：当所述n个源数据块和m个校验数据块成功备份存储至备份服务器后，备份服务器向备份代理服务发送备份成功的通知；当备份代理服务接收到n+m个备份服务器的备份成功通知后，表示所述n个源数据块和m个校验数据块已成功进行备份存储；

S7：备份代理服务对已备份大文件的备份数据块进行监控，当无法读取的备份数据块数量达到m个时，立即触发对大文件进行重新备份的操作。

优选的，所述步骤S3具体为：

S3-1：将步骤S2提按列排列成向量D：