[发明专利]一种增量数据同步方法、装置、计算机设备及存储介质

权利要求书

1.一种增量数据同步方法，其特征在于，包括下述步骤

获取当前同步时间段内的增量数据以及操作日志；

对所述操作日志进行解析，以从所述操作日志中提取物理删除数据以及不规范操作数据；

将所述不规范操作数据与所述增量数据合并，得到第一合并数据后，将所述第一合并数据与所述删除数据合并，得到第二合并数据；

将所述第二合并数据同步至数据仓库中。

2.根据权利要求1所述的增量数据同步方法，其特征在于，所述以从所述操作日志中提取物理删除数据以及不规范操作数据的步骤包括；

从操作日志中提取第一主键的操作标识，其中所述操作日志包括多个第一主键；

根据所述操作标识确定所述第一主键的操作类型；

将操作类型为删除类型的所有第一主键汇合，得到物理删除数据，并从操作类型为新增操作和修改操作的所有第一主键中确定不规范操作数据。

3.根据权利要求2所述的增量数据同步方法，其特征在于，所述并从操作类型为新增操作和修改操作的所有第一主键中确定不规范操作数据的步骤包括：

从操作类型为新增操作和修改操作的所有第一主键中提取满足不规范操作条件的第一主键作为第二主键；

汇合所有所述第二主键，得到不规范操作数据。

4.根据权利要求3所述的增量数据同步方法，其特征在于，在所述将所述不规范操作数据与所述增量数据合并的步骤之前，还包括：

从所述不规范操作数据中提取第二主键，将所述第二主键保存至不规范操作表中；

所述将所述不规范操作数据与所述增量数据合并的步骤包括：

从所述不规范操作表中提取所述操作类型为不规范操作类型的第二主键，将所述第二主键合并至所述增量数据中。

5.根据权利要求2所述的增量数据同步方法，其特征在于，在所述将所述第一合并数据与所述删除数据合并的步骤之前，还包括：

将所述物理删除数据中的各所述操作类型为物理删除类型的第一主键保存至物理删除表中；

所述将所述第一合并数据与所述删除数据合并的步骤包括：

从所述物理删除表中提取所述操作类型为物理删除类型的第一主键，根据从所述物理删除表中提取的第一主键确定所述第一合并数据中的冗余数据；

删除所述第一合并数据中的所述冗余数据。

6.根据权利要求5所述的增量数据同步方法，其特征在于，在所述将所述第二合并数据同步至数据仓库中的步骤包括之后，还包括：

删除所述物理删除表；

或，删除所述物理删除表中的所有所述第一主键。

7.根据权利要求1至5中任一项所述的增量数据同步方法，其特征在于，所述将所述第二合并数据同步至数据仓库中的步骤包括：

获取所述数据仓库的历史数据；

识别所述第二合并数据和所述历史数据的相同数据，作为重复数据；

删除所述第二合并数据中的所述重复数据，得到目标数据；

将所述目标数据同步更新至所述数据仓库中。

8.一种增量数据同步装置，其特征在于，包括：

获取模块，用于获取当前同步时间段内的增量数据以及操作日志；

提取模块，用于对所述操作日志进行解析，以从所述操作日志中提取物理删除数据以及不规范操作数据；

合并模块，用于将所述不规范操作数据与所述增量数据合并，得到第一合并数据后，将所述第一合并数据与所述删除数据合并，得到第二合并数据；

同步模块，用于将所述第二合并数据同步至数据仓库中。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的增量数据同步方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的增量数据同步方法的步骤。