[发明专利]数据的同步方法及装置、存储介质及电子装置

权利要求书

1.一种数据的同步方法，其特征在于，包括：

在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定主题topic用于记录源表中的数据；

基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定主题topic中，以得到目标topic；

将所述目标topic中记录的所述增量数据同步到目标表中；

其中，基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定主题topic中，以得到目标topic包括：

在确定所述最新更新记录为空时，将所述源表的全量数据确定为所述增量数据，并将所述增量数据写入所述预定主题topic中，以得到所述目标topic；

在确定所述最新更新记录不为空时，基于所述最新更新记录中记录的目标递增序列字段值筛选所述源表中的增量数据，并将所述增量数据写入所述预定主题topic中，以得到所述目标topic。

2.根据权利要求1所述的方法，其特征在于，基于所述最新更新记录中记录的目标递增序列字段值筛选所述源表中的增量数据包括：

将所述源表中记录的位于所述目标递增序列字段值之后的数据，确定为所述源表中的增量数据。

3.根据权利要求1所述的方法，其特征在于，将所述目标topic中记录的所述增量数据同步到目标表中包括：

将所述目标topic中记录的数据插入至所述目标表中；

在确定存在主键冲突的情况下，删除所述目标表中出现冲突的主键对应的记录；

在所述目标表中重新插入所述目标topic中记录的与所述出现冲突的主键对应的数据。

4.根据权利要求1所述的方法，其特征在于，在预先创建的预定消息系统中查询预定主题topic的最新更新记录之前，所述方法还包括：

为所述源表创建同步任务；

为所述同步任务分配唯一序列；

在所述预定消息系统中创建与所述序列同名的所述预定主题topic。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述预定消息系统包括kafka。

6.一种数据的同步装置，其特征在于，包括：

查询模块，用于在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定主题topic用于记录源表中的数据；

处理模块，用于基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定主题topic中，以得到目标topic；

同步模块，用于将所述目标topic中记录的所述增量数据同步到目标表中；

其中，所述处理模块包括：

第一处理单元，用于在确定所述最新更新记录为空时，将所述源表的全量数据确定为所述增量数据，并将所述增量数据写入所述预定主题topic中，以得到所述目标topic；

第二处理单元，用于在确定所述最新更新记录不为空时，基于所述最新更新记录中记录的目标递增序列字段值筛选所述源表中的增量数据，并将所述增量数据写入所述预定主题topic中，以得到所述目标topic。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。

8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。