[发明专利]一种跨数据库间数据同步方法

说明书

本发明涉及数据库技术领域，具体涉及一种跨数据库间数据同步方法。该方法包括以下步骤：S10、获取拦截语句的定义；S20、根据所述语句集对每个应用数据库中的基础数据或者业务配置表进行拦截，获得各应用数据库的拦截数据；S30、归集所有应用数据库的拦截数据；对汇总的拦截数据进行去重处理，获得同步数据；S40、将获得的同步数据同步到所有应用数据库的数据库中。本发明能够基于应用数据库访问层进行处理,避免应用的修改导致的不可控性,以及避免多接口处理数据导致的数据不完整性；能够实时进行基础数据的同步,避免因为时效性导致的业务中断。

技术领域

本发明涉及数据库技术领域，尤其涉及跨数据库间数据同步方法。

背景技术

随着企业管理软件的快速发展,企业数据量从GB级往TB级设置PB级发展,基于关系型数据库的模式下数据库已经越来越难以承担起如此大的应用场景.虽然有分布式数据库进行相关的性能与产品提升,但是很多核心应用必须使用关系型数据库来保证产品的稳定与安全。又因为不同关键应用下不同表的大小是不相同的，可以基于关键应用进行拆分,有可以根据地域进行相同表的拆分,比如可以讲华北区域和华东区域拆分到两个数据库实例中来提高查询性能，避免相同数据库下资源的争用导致的性能下降。

基于此带来一个严重问题,就是多维度拆分(关键应用,地域等维度)下,每个数据库都需要一些相同的核心主数据库,比如部门信息,员工信息,银行账户以及科目字典等，如果数据不一致,很难将所有的数据进行归集到国家要求的一套账上面来。

现有的解决方案一般是基于MDM主数据管理进行处理,在产品外部增加一套主数据管理装置,一般在晚上进行数据的同步，不同业务库是无法进行新增的,只能够通过审核的基础互数据才可以进行新增修改以及下发到不同纬度的数据库。其存在MDM主数据管理导致的复杂度高以及无法实现实时性。

发明内容

为了解决上述现有技术中存在的技术问题，本发明提供了一种跨数据库间数据同步方法、装置、计算机设备及存储介质。

为实现上述目的，本发明实施例提供了如下的技术方案：

第一方面，在本发明提供的一个实施例中，提供了跨数据库间数据同步方法，该方法包括以下步骤：

S10、获取拦截语句的定义；

S20、根据所述语句集对每个应用数据库中的基础数据或者业务配置表进行拦截，获得各应用数据库的拦截数据；

S30、归集所有应用数据库的拦截数据；对汇总的拦截数据进行去重处理，获得同步数据；

S40、将获得的同步数据同步到所有应用数据库的数据库中。

作为本发明的进一步方案，所述语句的定义为表名或语句格式。

作为本发明的进一步方案，所述拦截语句包括业务配置表、部门表和职工表。

作为本发明的进一步方案，所述拦截语句为insert语句和update语句。

作为本发明的进一步方案，根据所述语句集对每个应用数据库中的基础数据或者业务配置表进行拦截，获得各应用数据库的拦截数据，包括如下步骤：

获取每个应用数据库的在执行sql的过程的执行语句；

对与拦截语句具有相同定义的执行语句进行拦截和记录，获得拦截数据。

作为本发明的进一步方案，所述获取每个应用数据库的在执行sql的过程的执行语句，还包括：

当应用数据库中数据库连接进行批量重放，数据库访问不到，则将执行失败的命令进行储存；待数据库可用时进行批量重放，继续执行储存的失败的命令；在执行命令过程中，获取执行语句。