[发明专利]一种文件多通道备份的方法

摘要

一种文件多通道备份的方法，通过多线程并行工作的方法，充分利用磁盘IO，极大提升文件备份速度，将整个备份流程分割为以下几个部件扫描器、分片器和备份工作者，每个部件都是工作在独立的线程上，各个部件之间通过消息队列进行通讯，每次备份会生成一个扫描器，一个分片器，一个或以上的备份工作者。本发明提供的一种文件多通道备份的方法，具有以下优点发挥了CPU的性能、发挥了磁盘I/O性能和具有良好的稳定性。

主权项

一种文件多通道备份的方法，其特征在于：通过多线程并行工作的方法，充分利用磁盘IO，极大提升文件备份速度，将整个备份流程分割为以下几个部件：扫描器、分片器和备份工作者，每个部件都是工作在独立的线程上，各个部件之间通过消息队列进行通讯，每次备份会生成一个扫描器，一个分片器，一个或以上的备份工作者；各个部件的功能如下：(1).扫描器；根据用户设置的备份选项扫描文件系统得到要备份的详细文件列表，并将此列表发送给分片器；(2).分片器；分片器将从扫描器接收到的文件列表通过内部算法平均地分发到各个备份工作者；(3).备份工作者；备份工作者建立一条与存储服务器连接的通道根据接收到的文件列表将文件备份到存储服务器，根据备份选项在将要备份的文件发往存储服务器之前备份工作者会对文件进行压缩、加密、重复数据删除操作。