[发明专利]分布式数据实时同步的方法、系统和数据同步设备

说明书

本申请涉及数据同步技术领域，尤其涉及一种分布式数据实时同步的方法、系统和数据同步设备。该方法包括：获取数据库操作请求，所述数据库操作请求用于指示对第一数据库中的数据记录进行操作；当所述数据库操作请求包括更改语句时，获取待与所述第一数据库同步的第二数据库的更改操作类型；按所述第二数据库的更改操作类型对应的预设处理方式，将所述更改语句发送至消息队列；基于所述消息队列，将所述更改语句同步写入至所述第二数据库。采用该方法进行分布式数据同步时不受数据库类型以及所在位置的影响，可有效实现分布式数据实时同步，并保障同步的数据一致。

技术领域

本申请涉及数据同步技术领域，尤其涉及一种分布式数据实时同步的方法、系统和数据同步设备。

背景技术

目前，分布式集群系统应用广泛，一个完整的分布式集群系统是由很多处在不同位置的集群通过网络连接在一起形成的，海量的数据分布在整个系统的不同集群中。其中，不同集群的数据库之间需要进行数据同步。在相关技术中，各类数据库基本都有各自的数据同步机制，但一般都依赖数据库本身的核心技术。然而，随着数据库类型的不同，数据库处理方式也不同，如何保证分布式集群数据库中数据实时同步一致，是当前需要思考的问题。

发明内容

有鉴于此，本申请实施例提供了一种分布式数据实时同步的方法、系统和数据同步设备，可在不受数据库类型的影响下，实时同步分布式数据，保障同步的数据的一致。

本申请实施例的第一方面提供了一种分布式数据实时同步的方法，包括：

获取数据库操作请求，所述数据库操作请求用于指示对第一数据库中的数据记录进行操作；

当所述数据库操作请求包括更改语句时，获取待与所述第一数据库同步的第二数据库的更改操作类型；

按所述第二数据库的更改操作类型对应的预设处理方式，将所述更改语句发送至消息队列；

基于所述消息队列，将所述更改语句同步写入至所述第二数据库。

在第一方面的一种可能的实现方式中，所述按所述第二数据库的更改操作类型对应的预设处理方式，将所述更改语句发送至消息队列，包括：

当所述第二数据库的更改操作类型为幂等时，将所述更改语句以日志形式发送至所述消息队列。

在第一方面的一种可能的实现方式中，所述更改语句包括用于标识待操作的数据记录的指定字段，所述按所述第二数据库的更改操作类型对应的预设处理方式，将所述更改语句发送至消息队列，包括：

当所述第二数据库的更改操作类型为非幂等时，根据所述指定字段，确定所述更改语句在所述消息队列中对应的分区信息；

将所述更改语句发送至所述分区信息标识的分区。

在第一方面的一种可能的实现方式中，所述分区信息包括分区键，所述根据所述指定字段，确定所述更改语句在所述消息队列中对应的分区信息，包括：

获取所述消息队列的分区数目；

根据所述指定字段与所述分区数目，确定所述更改语句对应的分区键。

在第一方面的一种可能的实现方式中，所述更改语句包括用于标识待操作的数据记录的指定字段，所述基于所述消息队列，将所述更改语句同步写入至所述第二数据库，包括：

获取当前的并发线程数；

根据所述指定字段与所述并发线程数，确定所述更改语句对应的目标线程；

基于所述目标线程，将所述更改语句写入所述第二数据库。

在第一方面的一种可能的实现方式中，所述将所述更改语句同步写入至所述第二数据库，包括：

获取所述第一数据库及所述第二数据库的数据库类型；