[发明专利]数据的同步方法、装置、处理器及电子设备

权利要求书

1.一种数据的同步方法，其特征在于，包括：

获取待同步数据的采集任务和消费任务，其中，所述采集任务包括所述待同步数据在源数据库中的数据信息，所述消费任务包括所述待同步数据在所述源数据库和目标数据库中的数据信息；

将所述采集任务存储至多个采集节点中，将所述消费任务存储至多个消费节点中；

通过分布式锁从所述多个采集节点中确定目标采集节点；

将所述目标采集节点中存储的采集任务发送至消息队列中；

通过所述分布式锁从所述多个消费节点中确定目标消费节点；

若所述目标消费节点监听到所述消息队列中存在所述采集任务，则依据所述采集任务执行所述消费任务，以将所述待同步数据从所述源数据库同步至所述目标数据库中。

2.根据权利要求1所述的方法，其特征在于，通过分布式锁从所述多个采集节点中确定目标采集节点包括：

创建所述多个采集节点；

启动所述多个采集节点，以使所述多个采集节点中的每个采集节点开始抢占所述分布式锁；

将抢占到所述分布式锁的采集节点确定为所述目标采集节点。

3.根据权利要求1所述的方法，其特征在于，获取待同步数据的采集任务和消费任务包括：

从所述待同步数据中获取所述采集任务，其中，所述采集任务至少包括所述源数据库和源数据表；

从所述待同步数据中获取所述消费任务，其中，所述消费任务至少包括自定义处理步骤、所述源数据库、所述源数据表、目标数据库、目标数据表、目标数据表主键和变更数据的字段。

4.根据权利要求1所述的方法，其特征在于，通过所述分布式锁从所述多个消费节点中确定目标消费节点包括：

创建所述多个消费节点；

启动所述多个消费节点，以使所述多个消费节点中的每个消费节点开始抢占所述分布式锁；

将抢占到所述分布式锁的消费节点确定为所述目标消费节点。

5.根据权利要求3所述的方法，其特征在于，若所述目标消费节点监听到所述消息队列中存在所述采集任务，则依据所述采集任务执行所述消费任务，以将所述待同步数据从所述源数据库同步至所述目标数据库中包括：

若所述目标消费节点监听到所述消息队列中存在所述采集任务，则依据所述采集任务获取所述消费任务配置的所述自定义处理步骤；

依据所述消费任务，采用所述自定义处理步骤对所述待同步数据进行处理，以将所述待同步数据从所述源数据库同步至所述目标数据库中。

6.根据权利要求5所述的方法，其特征在于，在所述目标消费节点监听到所述消息队列中存在所述采集任务，依据所述采集任务获取所述消费任务配置的所述自定义处理步骤之前，所述方法还包括：

验证所述消费任务中的所述源数据表与所述采集任务中的所述目标数据表是否一致；

若所述源数据表与所述目标数据表不一致，则不再对所述消费任务进行处理；

若所述源数据表与所述目标数据表一致，则获取所述消费任务配置的所述自定义处理步骤。

7.根据权利要求5所述的方法，其特征在于，在依据所述消费任务，采用所述自定义处理步骤对所述待同步数据进行处理，以将所述待同步数据从所述源数据库同步至所述目标数据库中之后，所述方法还包括：

若所述目标消费节点执行所述消费任务的时间超过所述分布式锁的过期时间，则在所述分布式锁中释放所述目标消费节点，以使其它消费节点继续执行所述消费任务。