[发明专利]一种异构数据库的实时同步系统及方法

说明书

本发明涉及数据库技术领域，尤其涉及一种异构数据库的实时同步系统，包括：日志解析模块用于提取日志中涉及源端数据库变化的第一类事务语句；分解模块用于提取出第一类事务语句中的第一类语法以及第一类事务语句中的字段对应的第一类数据类型；转义模块用于对第一类事务语句的第一类语法映射为对应于多个数据库中的目标数据库的第二类语法，并将第一类事务语句的第一类数据类型映射为对应于目标数据库的第二类数据类型，并根据第二类语法和第二类数据类型将第一类事务语句拼装为第二类事务语句；数据同步模块用于将第二类事务语句在目标数据库中执行重演。有益效果：实现异构数据库之间的实时同步，优化数据同步的时效性。

技术领域

本发明涉及数据库技术领域，尤其涉及一种异构数据库的实时同步系统及方法。

背景技术

随着大数据时代的到来，数据呈现了爆炸式的增长，数据种类也变得多样化。在现代社会中，数据的商业价值被逐步挖掘，越来越多的企业开始收集存放各种业务数据。不同种类的数据带来了复杂的技术体系，企业中开始同时存在越来越多异构的数据库，不同结构的数据库无法直接进行数据的融合和交互，所以需要有一种技术来实现异构数据源之间的数据整合能力。

在现有技术中，异构数据库之间通常采用离线同步方式，离线同步比较容易实现，使用现有技术体系中的一些工具即可完成，比如利用不同数据库之间的导入导出工具，或者通过一些数据转换工具进行一次性转换，将源端数据库的数据格式转换为目标数据库的数据格式，最后写入到目标数据库即可。但这种离线同步的实现方式时效性太差，并且是定时转换，不具备连续性，会给用户带来许多不便。因此，现亟需一种实现异构数据库之间实时同步的系统。

发明内容

针对现有技术中存在的上述问题，现提供一种异构数据库的实时同步系统及方法。

具体技术方案如下：

本发明一种异构数据库的实时同步系统，应用于对具有不同数据类型的多个数据库之间的数据进行实时同步，包括：

一日志解析模块，连接多个所述数据库中的源端数据库，用于抽取所述源端数据库的日志并对其进行解析，提取所述日志中涉及所述源端数据库变化的第一类事务语句，在解析完成后依次输出；

一分解模块，连接所述日志解析模块，用于接收所述第一类事务语句，提取出所述第一类事务语句中的第一类语法以及所述第一类事务语句中的字段对应的第一类数据类型；

一转义模块，连接所述分解模块，用于对所述分解模块输出的所述第一类事务语句的所述第一类语法映射为对应于多个所述数据库中的目标数据库的第二类语法，并将所述第一类事务语句的所述第一类数据类型映射为对应于所述目标数据库的第二类数据类型，并根据所述第二类语法和所述第二类数据类型将所述第一类事务语句拼装为一第二类事务语句；

一数据同步模块，分别连接所述转义模块和所述目标数据库，用于接收所述转义模块输出的所述第二类事务语句在所述目标数据库中执行重演。

优选的，还包括一初始化模块，连接于所述源端数据库和所述日志解析模块之间，用于在进行日志解析之前，配置多个所述数据库之间的映射关系以及配置同步开启时间点。

优选的，还包括一事务缓存模块，用于接收所述转义模块新生成的所述第二类事务语句按照事务顺序存放于缓存队列中。

优选的，还包括一事务合并模块，用于获取所述第二类事务语句，判断是否需要对所述第二类事务语句进行合并，并在判断结果表明需要合并时对所述第二类事务语句进行合并。

优选的，所述分解模块包括：

一语法提取单元，用于从所述第一类事务语句中提取出所述第一类语法；

一数据类型提取单元，用于从所述第一类事务语句中提取出所述字段对应的所述第一类数据类型，并将所述字段和所述第一类数据类型组合成记录。