[发明专利]一种数据同步处理方法及装置

说明书

本发明提供了一种数据同步处理方法及装置，将增量数据的获取与数据库内的逻辑结构(例如触发器)解耦，对数据库日志进行解析抓取，实现数据的准确性与实时性，并对数据库本身的性能影响降到最低。通过消息中间件实现数据的传递和分发，且可横向扩展，保证数据流的高时效与高吞吐量。生成同步文件的消费者通过分布式部署，依托云平台实现快速部署和动态伸缩。同步文件的结构、时效性可灵活定制，与数据库类型、数据库对象解耦，实现异构数据库间的数据同步。

技术领域

本发明涉及计算机技术领域，特别涉及一种数据同步处理方法及装置。

背景技术

近年来随着互联网应用的兴起，系统功能朝着小、快、灵的方向发展，各系统各模块各司其职，互相之间的交互越来越频繁，对数据的时效性要求也越来越高。在此背景下，若信息交互发生在系统间(不同数据库之间)，不同系统间的数据需要同步，以保证数据交互的准确性。

现有技术中，数据同步模式一般是接口同步或文件同步，接口同步时效性虽高，但通常同步信息量小，较适合于类似业务控制信息交互等场景。文件同步的信息量虽大，但通常需要在数据库中开发加工作业处理，消耗大，频率低(频率太高容易占用数据库资源)，且一般放在晚间，时效性很难保证(通常是t+1日)，已越来越跟不上业务的发展要求。

发明内容

本发明实施例提供了一种数据同步处理方法及装置，实现了数据同步的准确性和实时性。

一方面，提供了一种数据同步处理方法，所述方法包括：

实时监控源数据库的日志数据；

若监控到所述日志数据发生变动，则将变动数据转换为序列化的二进制格式；

对转换后的变动数据进行持久化缓存，并维持所述变动数据的有序队列；

按照预先设置的同步文件的基础定义，从缓存中拉取对应的变动数据，生成对应的同步文件，其中，所述基础定义包括：数据的存储位置、时效；

根据所述同步文件对应的时效，将所述同步文件发送到目标数据库或数据交换中心。

另一方面，提供了一种数据同步处理装置，包括：

日志数据监控单元，用于实时监控源数据库的日志数据；

变动数据抓取单元，用于若监控到所述日志数据发生变动，则将变动数据转换为序列化的二进制格式；

数据存储单元，用于对转换后的变动数据进行持久化缓存，并维持所述变动数据的有序队列；

同步数据生成单元，用于按照预先设置的同步文件的基础定义，从缓存中拉取对应的变动数据，生成对应的同步文件，其中，所述基础定义包括：数据的存储位置、时效；

数据发送单元，用于根据所述同步文件对应的时效，将所述同步文件发送到目标数据库或数据交换中心。

又一方面，提供了一种数据同步处理设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例中的数据同步处理方法。

又一方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述实施例中的数据同步处理方法。

又一方面，提供了一种数据同步处理系统，包括：目标数据库、数据交换中心中的至少一个，以及源数据库、数据库日志抓取装置、生产者装置、消息储存装置、消费者装置，其中：

所述数据库日志抓取装置与所述源数据库连接，用于抓取源数据库中发生变动的变动数据，并将所述变动数据推送到指定的数据表集合中，由所述数据表集合将变动数据发送到所述生产者装置；