[发明专利]数据同步方法

说明书

本发明提出一种数据同步方法，通过触发器、发布订阅系统和连接模块实现，所述触发器实时接收源数据库中相关业务表中的数据变更信息，并将所述数据变更信息发送至连接模块；所述连接模块与发布订阅系统进行连接通讯，将所述数据变更信息发送至所述发布订阅系统；所述发布订阅系统接收所述数据变更信息后，将所述变更信息发布给订阅所述业务表变更操作主题的业务系统。采用本发明可实现数据同步过程的异步处理，从而避免因实时查询、实时写入带来的数据库性能下降问题。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据同步方法。

背景技术

在软件应用场景中，会经常遇到不同系统的关联数据之间需要数据同步的情形，例如源数据库和目标数据库进行数据同步，源数据库和目标业务系统之间进行数据同步等。数据库的应用场景可以分为实时事务处理型和分析事务处理型，前者用于实现数据的实时增删改查，强调及时性，后者则侧重数据的写入和查询，对查询速度要求高，以便实现分析统计。

现有技术中常用的数据同步方法包括：

1.Triger触发机制同步数据

通过在源数据库的表中增加触发器Trigger，在源数据库的表发生新增、修改、删除时，通过Trigger逻辑写入目标数据。

2.ETL工具同步数据

源数据库和目标数据库之间的数据同步通常采用ETL(Extract-Transform-Load)工具，通过配置ETL参数及SQL或存储过程进行数据查询，查询数据后再经过处理写入到目标数据库中。

3.应用系统查询同步数据

在具体应用中根据需要查询并导入数据。

然而，对于使用Trigger触发机制的数据同步方法，实时事务处理型数据在处理自身数据的增删改时，还要处理分析型事务型数据库的增删改，增加了自身的业务处理时间和负荷，影响了自身系统的性能，若分析事务型数据库出现宕机或无法连接状况，会使实时事务处理型数据库的数据也无法进行增删改作业，导致数据回滚。通过ETL工具和应用系统查询进行数据同步，都会因为对实时事务处理型数据库进行查询而影响其CPU、内存和硬盘IO的效能，最终影响数据的同步过程。

发明内容

针对现有技术的不足，本发明的主要目的在于：在实现数据同步时，将对源数据库的影响降至最低，并提高数据同步速度，进而提升工作效率。

为实现前述目的，本发明公开了一种数据同步方法，在源数据库相关业务表中设置触发器，用于实时响应业务表中数据变更操作；定义发布订阅系统，至少用于接收和发布数据变更信息；定义连接模块，至少用于接收触发器的消息和向发布订阅系统发送消息；具体包括：

所述触发器实时接收相关业务表中的数据变更信息，并将所述数据变更信息转为格式化数据后发送至连接模块；

所述连接模块与发布订阅系统进行连接通讯，将所述格式化数据发送至发布订阅系统；

所述发布订阅系统接收所述格式化数据后对其进行解析存储，并将解析后的数据变更相关信息发布给订阅所述相关业务表变更操作主题的业务系统；

所述业务系统根据接收到的数据变更相关信息进行业务数据同步处理。

优选地，所述发布订阅系统基于消息队列实现。

优选地，所述发布订阅系统基于采用消息机制的内存数据库实现。

优选地，所述数据变更操作包括数据增加、数据删除、数据修改。

优选地，所述业务系统为目标数据库，所述目标数据库的相关数据表根据接收到的数据变更相关信息进行数据同步处理。