[发明专利]数据库的同步事务的处理方法、存储介质与计算机设备

说明书

本发明提供了一种数据库的同步事务的处理方法、存储介质与计算机设备。其中数据库的同步端预先配置有多个并行的分区通道，并且每个分区通道设置有各自的入库队列，并且上述数据库的同步事务的处理方法包括：获取待分配至分区通道的事务；提取事务的所有关联表的信息；在预设的分区索引集合中查找包含事务的任一关联表信息的分区通道，分区索引集合用于记录各分区通道的入库队列中的事务及其关联表信息；根据查找结果为事务分配分区通道。本发明的方案，在保证关联事务顺序提交的前提下，使用多入库队列和多入库器并行提交入库，提升了数据的入库效率。

技术领域

本发明涉及数据库技术领域，特别是涉及一种数据库的同步事务的处理方法、存储介质与计算机设备。

背景技术

利用数据同步工具进行数据同步的过程分为三个阶段：第一阶段进行存量数据的初始化装载，获得数据同步的基础点；第二阶段以上述基础点为基准进行增量数据同步；第三阶段定期对数据同步的源端数据和目标数据进行比对校验，以确认在数据同步过程中没有丢失数据。

图1是现有技术中数据同步的处理过程示意图。源端同步模块110获取源端数据库100的在线重做日志或者归档日志，并解析出数据的增删改变化，得到数据变化的事务。事务代表数据库中一个不可分割的工作单位，具有ACID特性，即原子性、一致性、隔离性、持久性。

目标端同步模块120包括：抽取器121、缓冲队列123、入库器124。抽取器121从源端同步模块110逐条获取上述数据变化的事务，放入文件缓存122。目标端同步模块120将事务先写入一个缓冲队列123来达到异步削峰的目的。入库器124从缓冲队列123中获取事务并依次提交数据，事务最终恢复成目标端数据库200支持的SQL语句并在目标端数据库200上执行，来实现数据的实时同步，保持源端数据库100和目标端数据库200的数据一致性。为了保证增量数据提交的顺序性，目标端同步模块120一般使用一个FIFO队列(先入先出队列)作为缓冲队列123。

由于源端同步模块110解析事务的速度大于目标端同步模块120的入库速度，这会导致数据在文件缓存中大量积压，源端数据库100和目标端数据库200的同步延迟也越来越大。

解决这一问题的一种解决手段为，采用并行入库同步的方式，设置多个队列并行处理，但是由于增量数据对应的事务可能存在多表操作或者对数据表的增删，这种事务在并行处理时，有可能带来一致性的问题，有可能导致同步失败。因此现有技术仍然普遍使用一个队列的方式顺序执行。

发明内容

本发明的一个目的是要提供一种保证关联事务最终一致性的前提下，提高入库效率。

特别地，本发明提供了一种数据库的同步事务的处理方法，数据库的同步端预先配置有多个并行的分区通道，并且每个分区通道设置有各自的入库队列，并且上述数据库的同步事务的处理方法包括：

获取待分配至分区通道的事务；

提取事务的所有关联表的信息；

在预设的分区索引集合中查找包含事务的任一关联表信息的分区通道，分区索引集合用于记录各分区通道的入库队列中的事务及其关联表信息；

根据查找结果为事务分配分区通道。

可选地，在获取待分配至分区通道的事务的步骤之后还包括：

判断事务是否为来自于预设的等待队列的事务，等待队列用于存放之前未被放入分区通道的入库队列的事务；

若是，则执行在分区索引集合中查找包含事务的任一关联表信息的分区通道的步骤。

可选地，在事务并非来自于等待队列的事务的情况下，还包括：

在预设的等待队列索引中查找是否包含事务的任一关联表信息，等待队列索引用于记录等待队列中的事务及其关联表信息；