[发明专利]数据同步方法、系统、服务器及存储介质

说明书

本发明公开了一种数据同步方法、系统、服务器及存储介质，涉及数据同步技术领域。数据同步方法用于源数据库与目标数据库之间的数据同步更新，该数据同步方法包括：生产端将源数据库中的更新数据写入中间表，并在中间表中写入更新数据的数据同步状态为未同步；生产端扫描中间表中数据同步状态为未同步的目标数据，并将目标数据发送至消息队列；消费端消费消息队列中的数据，并将被消费数据写入目标数据库。本发明公开的数据同步方法、系统、服务器及存储介质可十分方便的完成源数据库与目标数据库之间的数据同步更新，且支持各类型数据库之间的数据同步更新，使得数据同步更新的应用场景不再局限于MySQL数据库。

技术领域

本发明属于数据同步技术领域，具体涉及一种数据同步方法、系统、服务器及存储介质。

背景技术

为保证数据安全，通常会采用数据同步的方式将源数据库中变化的数据同步到目标数据库。目前，现有的数据同步大都是通过基于MySQL(MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一)的高性能数据同步系统Canal获取binlog(binlog是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息)中的数据并解析，然后将数据变动传输给下游的目标数据库，实现数据同步。

然而采用这样的方式，在进行数据同步时源数据库就要求必须是MySQL数据库，这大大限制了数据同步的应用场景。

发明内容

本发明的目的是提供一种数据同步方法、系统、服务器及存储介质，用以解决现有技术中存在的上述问题。

为了实现上述目的，本发明采用以下技术方案：

第一方面，本发明提供了一种数据同步方法，用于源数据库与目标数据库之间的数据同步更新，包括：

生产端将源数据库中的更新数据写入中间表，并在所述中间表中写入所述更新数据的数据同步状态为未同步；

生产端扫描所述中间表中数据同步状态为未同步的目标数据，并将所述目标数据发送至消息队列；

消费端消费所述消息队列中的数据，并将被消费数据写入目标数据库。

在一个可能的设计中，在生产端将源数据库中的更新数据写入中间表之后，所述方法还包括：

生产端在所述中间表中写入所述更新数据的数据更新类型；

生产端将被消费数据写入目标数据库，包括：

生产端依据将被消费数据所对应的数据更新类型，将被消费数据写入目标数据库；

其中，被消费数据所对应的数据更新类型为数据插入、数据更新或数据删除。

在一个可能的设计中，在生产端将所述目标数据发送至消息队列之后，所述方法还包括：

生产端将所述目标数据的数据同步状态更新为数据同步中；

在消费端将被消费数据写入目标数据库之后，所述方法还包括：

消费端将所述中间表中与被消费数据对应的数据的数据同步状态更新为已完成更新。

在一个可能的设计中，在生产端将所述目标数据发送至消息队列之前，所述方法还包括：

生产端对所述目标数据加上分布式锁。

在一个可能的设计中，生产端扫描所述中间表中数据同步状态为未同步的目标数据，包括：

生产端以心跳的方式扫描所述中间表中数据同步状态为未同步的目标数据。

第二方面，本发明提供了一种数据同步系统，用于源数据库与目标数据库之间的数据同步更新，包括：