[发明专利]一种分布式文件存储异步远程复制方法及装置

说明书

本发明公开了一种分布式文件存储异步远程复制方法及装置，本发明采用了多级差异记录的方式，在前期记录详细差异，该方式下增量同步性能最高，而当差异量超过阈值时采用目录差异，可大大降低差异日志的存储空间，并降低主机访问的影响，同时也能避免对整个目录树做全量同步，一定程度提升了同步性能。并在当目录差异也超过阈值时，不再记录差异，此时认为整颗目录树已经发生重大变化，下一次同步采取全量同步。因此，采用本发明能够在消耗最小资源的情况下，满足不同场景和规模的文件存储异步远程复制，从而大大提升用户体验。

技术领域

本发明涉及计算机技术领域，特别是涉及一种分布式文件存储异步远程复制方法及装置。

背景技术

现有针对文件的远程异步存储，主要是由同步数据侧来对变化的数据进行存储，或者是对所有的数据进行全量的同步存储，但是这种不区别数据变化量，而统一设置为全量存储或者变量存储的方式，常常会因为变化数据量不大，而全量存储则浪费了大量处理资源，或者因为变化的数据量较大，而对变化的数据进行识别再存储，而造成处理资源浪费的问题，所以如何在使用尽量少的处理资源的条件下，保证数据的异步存储成为现在亟待需要解决的问题。

发明内容

本发明提供了一种分布式文件存储异步远程复制方法及装置，以解决现有技术中不能在尽量少的处理资源的下实现数据的异步存储的问题。

第一方面，本发明提供了一种分布式文件存储异步远程复制方法，该方法包括：通过异步远程复制主端的文件系统元数据服务器MDS来记录数据变化的详细差异，以使得异步远程复制主端的同步程序基于所记录的详细差异触发异步远程复制从端的同步程序进行数据同步；当所述异步远程复制主端的数据变化的量值超过第一预设阈值时，则触发所述异步远程复制主端的MDS记录数据变化的目录差异，并使得所述异步远程复制主端的同步程序基于所述目录信息差异触发所述异步远程复制从端的同步程序进行数据同步；在所述异步远程复制主端的目录信息差异的量值超过第二预设阈值时，则由所述异步远程复制主端的同步程序对所述异步远程复制主端的所有数据变化进行全量同步。

可选地，所述第一预设阈值为数据差异条数阈值、差异记录时间阈值或数据差异容量阈值；所述第二预设阈值为目录差异条数阈值、差异记录时间阈值或目录差异容量阈值。

可选地，所述通过异步远程复制主端的MDS来记录数据变化的详细差异，包括：当产生差异数据时，由所述异步远程复制主端的MDS通过分布式Key-Value存储记录差异数据，所述差异数据的key值前缀为

detail_diff_snapid_type_inode，其中，inode为差异的文件或目录的索引号，type表示文件或目录，snapid为当前快照id，detail_diff为固定前缀，表示存储的详细差异信息。

可选地，所述方法还包括：通过差异记录条数total来记录差异数据数量；

当差异记录条数total小于数据差异条数阈值，或者差异记录时间大于差异记录时间阈值，或者数据差异容量大于数据差异容量阈值时，所述异步远程复制主端的同步进程基于所记录的详细差异进行数据同步，包括：

所述异步远程复制主端的同步进程读取每条差异数据记录，按照差异位图记录的差异类型，从快照中读取文件/目录的最新值进行同步。

可选地，所述异步远程复制主端的MDS记录数据变化的目录差异，包括：所述异步远程复制主端的MDS先将已有的详细差异转换成目录差异，并删除已记录的详细差异，同时在新一轮同步周期到来前，所产生的新的元数据和数据变化，记录其所在的父目录为存在差异的目录。