[发明专利]数据的同步方法、装置、处理器及电子设备

说明书

本申请公开了一种数据的同步方法、装置、处理器及电子设备，该方法应用于金融科技或其他领域，该方法包括：获取待同步数据的采集任务和消费任务；将采集任务存储至多个采集节点中，将消费任务存储至多个消费节点中；通过分布式锁从多个采集节点中确定目标采集节点；将目标采集节点中存储的采集任务发送至消息队列中；通过分布式锁从多个消费节点中确定目标消费节点；若目标消费节点监听到消息队列中存在采集任务，则依据采集任务执行消费任务。通过本申请，解决了相关技术中在数据库同步增量数据的过程中因客观因素影响使同步增量数据的任务失败，导致数据库存在丢失数据的风险的问题。

技术领域

本申请涉及金融科技或其他领域，具体而言，涉及一种数据的同步方法、装置、处理器及电子设备。

背景技术

目前，在更换企业项目的数据库时，需要一段时间将源数据的数据更新至目标数据库。在这段时间内企业项目需要继续通过源数据库提供相应的服务，所以，源数据库中会有增量数据产生。在企业项目的数据库更换完成后，需要将更换数据库产生的增量数据同步至目标数据库中。现有技术中，在将源数据库的待同步数据同步至目标数据库时，常常采用单个节点处理数据的方式同步待同步数据。但由于采用单个节点处理数据时，会出现因程序错误或网络故障使单个节点损坏，导致正在同步的待同步数据丢失，造成目标数据库存在丢失数据的风险。

针对相关技术中在数据库同步增量数据的过程中受客观因素影响使同步增量数据的任务失败，导致数据库存在丢失数据的风险的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据的同步方法、装置、处理器及电子设备，以解决相关技术中在数据库同步增量数据的过程中受客观因素影响使同步增量数据的任务失败，导致数据库存在丢失数据的风险的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据的同步方法，该方法包括：获取待同步数据的采集任务和消费任务，其中，所述采集任务包括所述待同步数据在源数据库中的数据信息，所述消费任务包括所述待同步数据在所述源数据库和目标数据库中的数据信息；将所述采集任务存储至多个采集节点中，将所述消费任务存储至多个消费节点中；通过分布式锁从所述多个采集节点中确定目标采集节点；将所述目标采集节点中存储的采集任务发送至消息队列中；通过所述分布式锁从所述多个消费节点中确定目标消费节点；若所述目标消费节点监听到所述消息队列中存在所述采集任务，则依据所述采集任务执行所述消费任务，以将所述待同步数据从所述源数据库同步至所述目标数据库中。

进一步地，通过分布式锁从所述多个采集节点中确定目标采集节点包括：创建所述多个采集节点；启动所述多个采集节点，以使所述多个采集节点中的每个采集节点开始抢占所述分布式锁；将抢占到所述分布式锁的采集节点确定为所述目标采集节点。

进一步地，获取待同步数据的采集任务和消费任务包括：从所述待同步数据中获取所述采集任务，其中，所述采集任务至少包括所述源数据库和源数据表；从所述待同步数据中获取所述消费任务，其中，所述消费任务至少包括自定义处理步骤、所述源数据库、所述源数据表、目标数据库、目标数据表、目标数据表主键和变更数据的字段。

进一步地，通过所述分布式锁从所述多个消费节点中确定目标消费节点包括：创建所述多个消费节点；启动所述多个消费节点，以使所述多个消费节点中的每个消费节点开始抢占所述分布式锁；将抢占到所述分布式锁的消费节点确定为所述目标消费节点。

进一步地，若所述目标消费节点监听到所述消息队列中存在所述采集任务，则依据所述采集任务执行所述消费任务，以将所述待同步数据从所述源数据库同步至所述目标数据库中包括：若所述目标消费节点监听到所述消息队列中存在所述采集任务，则依据所述采集任务获取所述消费任务配置的所述自定义处理步骤；依据所述消费任务，采用所述自定义处理步骤对所述待同步数据进行处理，以将所述待同步数据从所述源数据库同步至所述目标数据库中。