[发明专利]数据同步监控方法及系统

说明书

本发明提供了一种数据同步监控方法及系统，所述监控方法包含：发送端向接收端发送同步数据；接收端获取同步数据的延迟时间，当所述延迟时间大于预定阈值时，向所述发送端发出进程拆分指令；发送端根据进程拆分指令，对发送同步数据的进程进行拆分，获得复数个进程，并通过所述进程共同发送同步数据；接收端接收到的同步数据后，向同步数据中加入标识信息；数据库根据所述标识信息对同步数据进行延迟处理后存储；以此，既降低数据延时情况的发生，还避免了业务程序上的修改，提高了数据同步的效率。

技术领域

本发明涉及数据处理领域，尤指一种数据同步监控方法及系统。

背景技术

现有技术中，在goldengate里使用了心跳表机质来实现复制延时的监视工作，主要是在配置goldengate时加入一张表，在源端时时差入一条数据，记录插入时间，当这条数据被复制到目标端时就可以判断数据延时了多少，用于提醒用户数据是截到什么时间点的，或是让程序用来判断数据同步延时情况。Goldengate软件是oracle公司推出的数据同步软件，在数据同步量比较大的时候，目标端单一的复制进程难以高效率的完成数据同步工作，因此会产生数据同步延时情况。业界普遍的优化方法就是增加复制进程，将需要同步的数据表分散到多个复制进程中进行数据同步，进而加快数据总体的同步。

用goldengate软件同步数据时有如下缺点：不拆分复制进程会导致大量的数据同步延时。拆分出的复制进程数量不够或者负载均衡配置的不好，会导致在源端同一个事物包的数据，在同步到目标端时，一部分数据已经写入数据库，而其余的部分还不能及时写入；拆分出足够多的复制进程可以消除数据同步延时，但其消耗的系统性能会比较大，因为Goldengate是作为单独的软件运行在操作系统中；并且复制进程的管理上会比较麻烦。

另外，现有的心跳表虽然可以用于监控goldengate数据同步情况，很多时候是出于业务需要，如结算，在某一刻需要进行结算时，只有当数据同步完成时才能进行，就可以加入心跳表来判断数据同步是否存在延时，如果没有延时，就代表这一时刻之前的数据已经同步完成了；在goldengate中心跳表的使用致使单个复制进程在复制数据时存在瓶颈，例如在多个复制进程时，如果多个复制进程中都同步心跳数据同步到目标端心跳表，在目标端的心跳表中就会有多个数据同步延时时间的记录，程序因此无法判断数据同步延时情况。

发明内容

本发明目的在于解决在使用数据同步心跳表监控数据同步延时，由于goldengate复制进程拆分，而导致无法监控拆分出来的复制进程的数据同步延时情况。

为达上述目的，本发明具体提供一种数据同步监控方法，所述监控方法包含：发送端向接收端发送同步数据；接收端获取同步数据的延迟时间，当所述延迟时间大于预定阈值时，向所述发送端发出进程拆分指令；发送端根据进程拆分指令，对发送同步数据的进程进行拆分，获得复数个进程，并通过所述进程共同发送同步数据；接收端接收到的同步数据后，向同步数据中加入标识信息；数据库根据所述标识信息对同步数据进行延迟处理后存储。

在上述数据同步监控方法中，优选的，当所述延迟时间大于预定阈值时，向所述发送端发出进程拆分指令还包含：接收端检测系统负荷情况，并根据所述系统负荷情况向所述发送端发出拆分至少一个进程的进程拆分指令。

在上述数据同步监控方法中，优选的，根据所述系统负荷情况向所述发送端发出拆分至少一个进程的进程拆分指令包含：当系统内存及CPU使用率均低于10％时，接收端向发送端发出拆分至少一个进程的进程拆分指令。

在上述数据同步监控方法中，优选的，所述发送端向接收端发送同步数据还包含：在同步数据中加入心跳表，所述心跳表包含发送端发送同步数据的初始时间。

在上述数据同步监控方法中，优选的，所述接收端获取同步数据的延迟时间包含；接收端接收到同步数据时，将所述心跳表中的初始时间与当前时间比较，获得延迟时间。