[发明专利]数据库同步方法、系统、生产端及消费端解析服务器

说明书

本发明提出了一种数据库同步方法、系统、生产端及消费端解析服务器，涉及大数据技术领域，该方法包括：生产端解析服务器在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储；消费端解析服务器分批次读取所述持久层存储的解析数据，将每一批次读取的解析数据赋予唯一顺序标识；根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。本发明可以基于生产消费模式实现高效、便利且有序的数据库同步。

技术领域

本发明涉及大数据技术领域，尤指一种数据库同步方法、系统、生产端及消费端解析服务器。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

互联网发展至今，已经步入大数据时代，数据保存与转移的重要性已愈发凸显，各类业务系统的开展与数据处理息息相关，为适应市场需求，让数据同步变得稳定、简单且高效越来越重要。

目前流行的数据同步方法是使用数据库的发布和订阅功能，实现同一服务器下不同数据库的表数据同步，以及不同服务器下的不同数据库的表数据同步，但是该方法的使用前提是源数据表结构和目标数据表结构必须相同，导致数据库同步不方便且效率低。

发明内容

为解决现有技术存在的问题，本发明提出了一种数据库同步方法、系统、生产端及消费端解析服务器；该方法及系统基于生产消费模式实现高效、便利且有序的数据库同步。

在本发明实施例的第一方面，提出了一种数据库同步方法，包括：

生产端解析服务器在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储；

消费端解析服务器分批次读取所述持久层存储的解析数据，将每一批次读取的解析数据赋予唯一顺序标识；根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。

在本发明实施例的第二方面，提出了一种数据库同步方法，该方法应用于生产端解析服务器，包括：

在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；

解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储。

在本发明实施例的第三方面，提出了一种数据库同步方法，该方法应用于消费端解析服务器，包括：

分批次读取所述持久层存储的解析数据；

将每一批次读取的解析数据赋予唯一顺序标识；

根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。

在本发明实施例的第四方面，提出了一种数据库同步系统，包括：

生产端解析服务器，用于在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储；

消费端解析服务器，用于分批次读取所述持久层存储的解析数据，将每一批次读取的解析数据赋予唯一顺序标识；根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。

在本发明实施例的第五方面，提出了一种数据库同步生产端解析服务器，包括：