[发明专利]一种数据同步的方法及装置

说明书

本发明涉及金融科技(Fintech)领域，并公开了一种数据同步的方法及装置，方法包括：监听针对源数据仓库的元数据的第一操作事件；从第一操作事件中根据预设规则确定出第二操作事件，生成第二操作事件对应的各同步任务；执行各同步任务从而实现源文件系统与目的文件系统的同步。本发明从源数据的变化原因入手，实现更加精确高效的数据同步。将源数据变化情况准确、及时、有效进行存储和聚合，然后同步至目的文件系统，这样就可规避递归遍历数据路径带来的耗时操作，通过监控和侦听源端源数据变化情况，大大降低数据比对开销提高增量同步的性能和效率。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种数据同步的方法及装置。

背景技术

随着计算机技术的发展，越来越多的技术(例如：分布式架构、云计算或大数据)应用在金融领域，传统金融业正在逐步向金融科技转变，大数据技术也不例外，但由于金融、支付行业的安全性、实时性要求，也对大数据技术提出的更高的要求。

在集群数据迁移过程中，一般先将源集群的数据和元数据一次全量同步到目的集群端，让目的集群与源集群数据基本保持一致，然后再将源集群的新增数据按照增量同步的方式定期同步到目的集群让两端集群数据动态保持一致。

全量同步的主要作用是将源和目的集群的数据差异大幅缩小，为增量同步让两端集群保持基本完全一致创造条件。

现有的跨集群数据同步方案，在增量同步过程中通过源集群与目的集群数据路径的比对，间接的判断源集群与目的集群相关元数据的差异，依据差异进行元数据的同步。具体的，增量同步一般按照库级别(或者表级别和分区级别)进行任务配置和数据比对，数据比对使用路径数据进行比对，包括文件大小，目录数及文件数等。在比对的过程中一般有以下几种情况：

(1)源集群与目的集群数据不一致，目的集群数据多于源集群则将目的集群数据多余数据进行删除；

(2)源集群与目的集群数据不一致，目的集群数据少于源集群则将源集群数据相应数据进行复制；

(3)如果两端数据比对完全一致，则比对成功不进行处理。

上述方案，一方面需对库下表中所有数据路径进行遍历比对，效率较低；另一方面数据路径的比对，作为间接判断目的集群与源集群元数据差异的依据，存在较大误判概率，增加目的集群重复同步数据和元数据的开销。

发明内容

本申请提供了一种数据同步的方法及装置，用以解决如何准确高效的进行数据同步的问题。

第一方面，本申请实施例提供一种数据同步的方法，适用于具有数据仓库的分布式文件系统；所述方法包括：

监听针对源数据仓库的元数据的第一操作事件；

从所述第一操作事件中根据预设规则确定出第二操作事件，所述第二操作事件是指与源文件系统中存储的源数据的有变化关联的操作事件；

生成所述第二操作事件对应的各同步任务；

执行所述各同步任务从而实现所述源文件系统与目的文件系统的同步。

上述方案，不同于现有技术将数据路径的比对作为间接判断目的文件系统与源文件系统元数据差异的依据，而是通过直接监听对源数据仓库的元数据的第一操作事件，即从源数据的变化原因入手，实现更加精确高效的数据同步。将源数据变化情况准确、及时、有效进行存储和聚合，然后同步至目的文件系统，这样就可规避递归遍历数据路径带来的耗时操作，通过监控和侦听源端源数据变化情况，大大降低数据比对开销提高增量同步的性能和效率。

可选的，每个同步任务对应一个操作事件；

执行所述各同步任务从而实现所述源文件系统与目的文件系统的同步，包括：