[发明专利]数据库间数据的复制方法及装置

说明书

技术领域

本发明涉及通信领域，具体而言，涉及一种数据库间数据的复制方法及装置。

背景技术

在容灾、数据备份、统计等应用中，经常会遇到数据库复制问题，对于千万级以上的大表的复制，由于性能的原因，一般采用增量复制。相关技术中常用的数据库复制方法有Oracle数据库的流(Stream)复制和GoldenGate，这两种方法都是基于源数据库日志文件的挖掘来获取同步信息，这种方法的优点是对应用透明，缺点是依赖于具体的数据库，且日志文件的挖掘需要占用较多的机器资源，对源数据的负荷影响较大。另外一种常用的数据库复制方法是Oracle的物化视图。物化视图也能提供增量刷新和保证数据一致性，但主要的缺点是不能在异构数据库环境中使用，且实现不同表间数据一致需要用到组刷新，而组刷新需要锁表，不适合于源数据库运行联机事务处理(On-line transaction processing，简称OLTP)类型应用且每秒交易量很高的场景。

针对相关技术中的增量数据库复制方法依赖于具体数据库的类型的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种数据库间数据的复制方法及装置，以至少解决相关技术中的增量数据库复制方法依赖于具体数据库的类型的问题。

根据本发明的一个方面，提供了一种数据库间数据的复制方法，包括：目标数据库按照预设规则采集源数据库中的日志记录；其中，预设规则包括：日志记录的事务序列号大于已同步至目标数据库中的数据所对应的事务序列号；目标数据库将日志记录复制到目标数据库中的目标表中；其中，目标数据库和源数据库都为异构数据库。

进一步地，在目标数据库将日志记录复制到目标数据库中的目标表中之前，方法还包括：目标数据库获取目标数据库本次采集的所有日志记录所对应的事务序列号；按照预定规则从本次采集的所有日志记录所对应的事务序列号中选择一个事务序列号作为本次采集的事务序列号。

进一步地，按照预定规则从本次采集的所有日志记录所对应的事务序列号中选择一个事务序列号作为本次采集的事物序列号包括：对于本次采集的每个日志记录所在的日志表，目标数据库获取日志表中所有日志记录对应的事务序列号中的最大事务序列号；目标数据库将所有日志表的最大事务序列号中的最小事务序列号作为本次采集的事务 序列号。

进一步地，在目标数据库将日志记录复制到目标数据库中的目标表中之后，方法还包括：目标数据库记录本次采集的事务序列号。

进一步地，目标数据库将日志记录复制到目标数据库中的目标表中包括：针对每个日志记录所在的日志表，目标数据库根据日志表对应的主键，获取日志表中事务序列号最大的日志记录；目标数据库将日志表中事务序列号最大的日志记录复制到目标表中。

进一步地，目标数据库将日志表中事务序列号最大的日志记录复制到目标表中包括：目标数据库根据日志表的主键，查找主键对应的目标表；目标数据库根据日志表中事务序列号最大的日志记录的操作类型和日志表的主键，对目标表进行操作。

进一步地，目标数据库根据日志表中事务序列号最大的日志记录的操作类型和日志表的主键，对目标表进行操作包括以下至少之一：在操作类型为删除操作时，目标数据库根据日志表的主键删除目标表中与日志表的主键对应的记录；在操作类型为新增操作或者修改操作，以及目标表中不存在与日志表的主键对应的记录时，目标数据库将日志记录的内容作为新的记录添加在目标表中；在操作类型为新增操作或者修改操作，以及目标表中已存在与日志表的主键对应的记录时，目标数据库以日志记录的内容更新目标表中与日志表的主键对应的记录。

进一步地，目标数据库将日志记录复制到目标数据库中的目标表中包括：目标数据库以目标数据库中已同步至目标数据库中的数据所对应的事务序列号加1为起点事务序列号，以本次采集的事务序列号为终点事务序列号，采用事务序列号递增的方式，将每个日志表中与事务序列号所对应的日志记录依次复制到目标表中。

根据本发明的另一方面，提供了一种数据库间数据的复制装置，应用于目标数据库中，包括：采集模块，用于按照预设规则采集源数据库中的日志记录；其中，预设规则包括：日志记录的事务序列号大于已同步至目标数据库中的数据所对应的事务序列号；复制模块，用于将日志记录复制到目标数据库中的目标表中；其中，目标数据库和源数据库都为异构数据库。