[发明专利]分布式文件系统的数据备份方法

摘要

本发明提供一种分布式文件系统的数据备份方法，该方法包括：同步控制节点创建线程池，根据拷贝列表为各线程分配源文件，并行进行各源文件和对应目标文件的元数据同步；同步控制节点的各线程通过判定源和目标文件中的各文件块的内容一致性，分析各自分配的源文件和对应目标文件的差异；源数据节点通过判定源和目标文件块中各chunk的内容一致性，分析源和目标文件块的差异；目标数据节点根据源和目标文件块的差异分析结果，备份源文件块的数据至对应目标文件块。该方法有效利用目标文件系统的目标文件的已有数据，减少跨集群的数据节点间的数据传输，且一个文件的备份过程中以文件块为单位并行备份，减少了数据备份的执行时间。

主权项

一种分布式文件系统的数据备份方法，应用于两个集群的HDFS文件系统，其特征在于，该方法包括：元数据同步步骤：同步控制节点根据客户端输入的数据备份命令中的源路径获取拷贝列表，同步该拷贝列表中所有源和目标文件的元数据，并生成各源文件的文件校验码列表；文件差异分析步骤：同步控制节点将源文件的每个文件块的校验码与目标文件的各文件块的校验码进行比较，判定源和目标文件中各文件块的内容一致性，根据判定结果替换文件校验码列表中的源文件块和源数据节点，并将文件校验码列表的各行记录发送至相应的源数据节点；文件块差异分析步骤：源数据节点接收文件校验码列表的行记录，将该行记录中的源文件块的每个chunk的校验码与目标文件块的各chunk的校验码进行比较，判定源和目标文件块中各chunk的内容一致性，根据判定结果生成文件块差异表，并将该文件块差异表和接收的文件校验码列表的行记录发送给对应的目标数据节点；及数据备份步骤：目标数据节点创建临时文件块，根据接收的文件块差异表写入数据至该临时文件块，以临时文件块的内容替换目标文件块的内容。