[发明专利]数据同步方法、电子设备及计算机可读存储介质

权利要求书

1.一种数据同步方法，其特征在于，应用于分布式系统，所述分布式系统包括处理节点、元数据库、主数据库和同步数据库，所述方法包括：

所述处理节点响应于数据同步任务触发，获取所述元数据库中的第一数据描述信息；所述第一数据描述信息包括主数据库的第二数据描述信息以及同步数据库的第三数据描述信息；

所述处理节点根据所述第二数据描述信息对所述主数据库中的数据进行消费；

所述处理节点对消费的所述数据进行分区，得到临时数据集；

所述处理节点按照所述第三数据描述信息将所述临时数据集同步至同步数据库。

2.根据权利要求1所述的方法，其特征在于，根据所述处理节点根据所述第二数据描述信息对所述主数据库中的数据进行消费，包括：

所述处理节点根据预设主题获取所述第二数据描述信息中所述预设主题在所述处理节点中的起始偏移量；

根据所述起始偏移量以及所述预设主题在所述主数据库中的当前偏移量区间确定需要进行消费的所述数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述起始偏移量以及所述预设主题在所述主数据库中的当前偏移量区间确定需要进行消费的所述数据，包括：

响应于所述起始偏移量位于所述当前偏移量区间中，将所述起始偏移量至所述当前偏移量区间中最大端点之间对应的数据作为需要进行消费的所述数据；

响应于起始偏移量位于所述当前偏移量区间外，所述当前偏移量区间对应的数据作为需要进行消费的所述数据或进行异常提醒。

4.根据权利要求3所述的方法，其特征在于，所述根据所述起始偏移量以及所述预设主题在所述主数据库中的当前偏移量区间确定需要进行消费的所述数据，包括：

响应于所述起始偏移量对应的分区数量小于所述当前偏移量区间中最小端点对应的分区数量，将所述主数据库中新增分区的所有数据，以及原始分区的增量数据加入至需要进行消费的所述数据；

响应于所述起始偏移量对应的分区数量大于所述当前偏移量区间中最小端点对应的分区数量，将所述主数据库中所有分区的所有数据作为需要进行消费的所述数据。

5.根据权利要求2所述的方法，其特征在于，所述处理节点对消费的所述数据进行分区，得到临时数据集，包括：

所述处理节点根据主题类别对所述数据进行分区；

将相同分区下的数据解析生成所述临时数据集。

6.根据权利要求1所述的方法，其特征在于，所述处理节点按照所述第三数据描述信息将所述临时数据集同步至所述同步数据库之后还包括：

响应于同一批次的所述临时数据集完成同步，依照所述临时数据集的属性信息更新所述第二数据描述信息。

7.根据权利要求1所述的方法，其特征在于，所述处理节点对消费的所述数据进行分区，得到临时数据集之后还包括：

对所述临时数据集进行持久化操作。

8.根据权利要求1所述的方法，其特征在于，所述处理节点按照所述第三数据描述信息将所述临时数据集同步至所述同步数据库，包括：

所述处理节点按照所述第三数据描述信息将所述临时数据集中的数据映射为第一类型数据；其中，所述第一类型数据的数据类型与所述同步数据库中数据的数据类型相同；

将所述第一类型数据同步至所述同步数据库。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储程序数据，所述程序数据能够被所述处理器执行，以实现如权利要求1-8中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，存储有程序数据，能够被处理器执行，以实现如权利要求1-8中任一项所述的方法。