[发明专利]数据同步方法、电子设备及计算机可读存储介质

说明书

本申请公开了一种数据同步方法、电子设备及计算机可读存储介质。该方法包括处理节点响应于数据同步任务触发，获取元数据库中的第一数据描述信息；第一数据描述信息包括主数据库的第二数据描述信息以及同步数据库的第三数据描述信息；处理节点根据第二数据描述信息对主数据库中的数据进行消费；处理节点对消费的数据进行分区，得到临时数据集；处理节点按照第三数据描述信息将临时数据集同步至同步数据库。通过上述方式，本申请能够解决数据库同步时各个业务数据库业务规则不同导致扩展性不强的技术问题。

技术领域

本申请涉及数据处理领域，特别是涉及一种数据同步方法、电子设备及计算机可读存储介质。

背景技术

随着业务的高速发展，各种各样的数据同步场景应运而生，为了使得主数据库中的数据能够更加快速地同步至各个业务数据库中为其实现功能提供数据支撑。通常实现的方法是消费主数据库中的数据后同步至对应的数据库，但是业务数据库中会指定相关规则，导致业务的扩展性不强，而如果业务数据库中需要新增表结构时，需要对相关代码进行修改，不能实时更新。

发明内容

本申请主要目的是提供一种数据同步方法、电子设备及计算机可读存储介质，能够解决数据库同步时各个业务数据库业务规则不同导致扩展性不强的技术问题。

为解决上述技术问题，本申请采用的第一个技术方案是：提供一种数据同步方法。该方法应用于分布式系统，分布式系统包括处理节点、元数据库、主数据库和同步数据库。该方法包括处理节点响应于数据同步任务触发，获取元数据库中的第一数据描述信息；第一数据描述信息包括主数据库的第二数据描述信息以及同步数据库的第三数据描述信息；处理节点根据第二数据描述信息对主数据库中的数据进行消费；处理节点对消费的数据进行分区，得到临时数据集；处理节点按照第三数据描述信息将临时数据集同步至同步数据库。

为解决上述技术问题，本申请采用的第二个技术方案是：提供一种电子设备。该电子设备包括存储器和处理器，存储器用于存储程序数据，程序数据能够被处理器执行，以实现如第一个技术方案中的方法。

为解决上述技术问题，本申请采用的第三个技术方案是：提供一种计算机可读存储介质。该计算机可读存储介质存储有程序数据，能够被处理器执行，以实现如第一个技术方案中的方法。

本申请的有益效果是：通过构建元数据库，用于存储主数据库以及同步数据的数据描述信息，在数据同步任务触发时，拉取元数据库中预先存储的从主数据库获取的第二描述信息以及同步数据库中获取的第三数据描述信息，利用主数据库的第二数据描述信息读取主数据库中尚未同步得到数据，利用同步数据库的第三数据描述信息将读取出来的数据同步至同步数据库中，从而实现主数据库以及同步数据库的数据同步。通过构建元数据库，获取下游的同步数据库的数据描述信息，使得本方案能够同时支持多种下游同步数据库的数据同步，并且灵活支持下游同步数据库的更新扩展以及新增。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请数据同步方法第一实施例的流程示意图；

图2是本申请所应用的分布式系统的一示意图；

图3是本申请数据同步方法第二实施例的流程示意图；

图4是本申请数据同步方法第三实施例的流程示意图；

图5是本申请数据同步方法第四实施例的流程示意图；

图6是数据同步执行过程具体实施例一示意图；

图7是本申请电子设备第一实施例的结构示意图；

图8是本申请计算机可读存储介质第一实施例的结构示意图。