[发明专利]一种异构数据库系统间的数据同步方法

说明书

本发明涉及一种异构数据库系统间的数据同步方法，该方法包括：规划同步需求；基于同步需求配置同步参数表；定义同步数据表之间以及同步数据表与其他模块之间的依赖关系、同步频率；调用同步操作程序，基于同步参数表的配置进行数据同步操作。与现有技术相比，本发明方法数据同步效率高、灵活度高，当数据同步异常时能够快速定位问题和解决问题。

技术领域

本发明涉及数据库数据同步技术，尤其是涉及一种异构数据库系统间的数据同步方法。

背景技术

数据同步指实现两个数据源之间的数据保持一致或者按需部分保持一致的技术。数据同步可应用于数据异地灾备、本地数据灾备、跨系统数据同步、跨模块数据同步、数据仓库前后台数据一致性等多种业务场景。

目前同一个数据库之间的数据同步相对简单，如Oracle数据库之间的数据同步，可以采用DBLINK、imp/emp技术、expdp/impdp数据泵技术和Sqluldr2技术；Gbase数据库之间通常采用DBLINK技术。

随着应用系统前后端数据库分离的普遍化以及前后端数据库系统的差异化，前端关系型数据库与后台分布式数据库之间的数据同步需求会越来越多，因此出现了异构数据库系统的概念。异构数据库系统是指相关的多个数据库系统的集合，可以实现数据的共享和透明访问，几个数据库系统在加入异构数据库系统之前本身就已经存在，拥有自己的数据库管理系统、异构数据库的各个组成部分具有自身的自治性，实现数据共享的同时，每个数据库系统仍有自己的应用特性、完整性控制和安全性控制。但目前不同数据库系统间的数据同步，一般有如下几种方式：

一、文件导出导入方式。需要人工在源系统将源数据导出，再将导出生成的文件人工传到目标系统，再用目标系统的导入命令导入，这种方式存在以下问题：

1、整个操作过程需要人工干预。需要明确源数据库系统和目标数据库的差异、数据表范围以及导出导入的语句差异，再执行导出，生成文件，执行导入，整个过程复杂低效，人工操作步骤太多。

2、不能满足多业务场景下的数据同步需求。如：关系型数据库Oralce的A1表需要按日增量同步到分布式数据库Gbase的B1表，而关系型数据库Oralce的A2表需要按日全量同步到分布式数据库Gbase的B2表。同时，分布式数据库Gbase的B1表需要按日增量同步到关系数据库Oralce的A1表，分布式数据库Gbase的B2表需要按日增量同步到分布式数据库的A2表。对于这种单向、双向、增量、全量、高频、数据库差异大的数据同步需求，传统的数据同步技术无法解决。

3、数据同步结束后，操作人员需要通过后台日志去查看每个同步命令的同步日志才能确认最终结果状态。

二、通过在两个数据之间建立DBLINK实现小数据量的数据同步。

三、运用Kettle工具，利用其图形界面化工具和脚本实现第二次开发。

综合以上，这三种方式存在以下问题：

1、导出导入过程涉及到不同的数据库，整个过程需要人工干预的地方太多，导出导入出错率高。

2、不能满足对同步数据表数据量大小、同步频率、同步方式、增全量同步机制的灵活化配置需求。

3、不能方便灵活的实现异构数据库之间的双向同步，如Gbase数据库的DBLINK仅可以实现从Oracle向Gbase数据库的同步，而不能实现Gbase数据库向Oracle数据库的同步需求。

4、DBLINK和Kettle仅可以实现小数据量的同步，当数据量达到10万级别以上，同步效率会明显下降。

5、对于频繁的数据同步，没有形成一套规划化和标准化的同步框架。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种异构数据库系统间的数据同步方法。