[发明专利]一种增量数据同步方法、装置、计算机设备及存储介质

说明书

本申请实施例属于人工智能和大数据领域，涉及一种增量数据同步方法，包括获取当前同步时间段内的增量数据以及操作日志；对操作日志进行解析，以从操作日志中提取物理删除数据以及不规范操作数据；将不规范操作数据与增量数据合并，得到第一合并数据后，将第一合并数据与删除数据合并，得到第二合并数据；将第二合并数据同步至数据仓库中。本申请还提供一种增量数据同步装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，增量数据及操作日志可存储于区块链中。本申请有效保证同步双方的数据一致性。

技术领域

本申请涉及人工智能和大数据技术领域，尤其涉及增量数据同步方法、装置、计算机设备及存储介质。

背景技术

数据仓库作为企业智能化经营分析的数据来源，需要接入企业各个应用系统的数据，并且保障数据仓库的数据和应用系统数据一致。

目前数据仓库一般采用增量同步方式入仓，但现有的增量数据同步方式，由于无法获取新增或修改数据时不修改时间戳的不规范增改记录以及业务数据库中物理删除的记录，导致数据仓库与上游数据库(如业务数据库)的数据不一致，影响数据的追溯、核对；虽然也可采用逻辑删除替代物理删除，但随着业务数据库运行时间越长，业务数据库冗余过多的数据，运行成本大，运行速度慢，得不偿失。

发明内容

本申请实施例的目的在于提出一种增量数据同步方法、装置、计算机设备及存储介质，其主要目是保证同步双方的数据一致性。

为了解决上述技术问题，本申请实施例提供一种增量数据同步方法，采用了如下所述的技术方案：

获取当前同步时间段内的增量数据以及操作日志；

对所述操作日志进行解析，以从所述操作日志中提取物理删除数据以及不规范操作数据；

将所述不规范操作数据与所述增量数据合并，得到第一合并数据后，将所述第一合并数据与所述删除数据合并，得到第二合并数据；

将所述第二合并数据同步至数据仓库中。

进一步的，所述以从所述操作日志中提取物理删除数据以及不规范操作数据的步骤包括；

从操作日志中提取第一主键的操作标识，其中所述操作日志包括多个第一主键；

根据所述操作标识确定所述第一主键的操作类型；

将操作类型为删除类型的所有第一主键汇合，得到物理删除数据，并从操作类型为新增操作和修改操作的所有第一主键中确定不规范操作数据。

进一步的，所述并从操作类型为新增操作和修改操作的所有第一主键中确定不规范操作数据的步骤包括：

从操作类型为新增操作和修改操作的所有第一主键中提取满足不规范操作条件的第一主键作为第二主键；

汇合所有所述第二主键，得到不规范操作数据。

进一步的，在所述将所述不规范操作数据与所述增量数据合并的步骤之前，还包括：

从所述不规范操作数据中提取第二主键，将所述第二主键保存至不规范操作表中；

所述将所述不规范操作数据与所述增量数据合并的步骤包括：

从所述不规范操作表中提取所述操作类型为不规范操作类型的第二主键，将所述第二主键合并至所述增量数据中。

进一步的，在所述将所述第一合并数据与所述删除数据合并的步骤之前，还包括：

将所述物理删除数据中的各所述操作类型为物理删除类型的第一主键保存至物理删除表中；

所述将所述第一合并数据与所述删除数据合并的步骤包括：