[发明专利]一种数据同步方法、存储介质及设备

说明书

本发明提供了一种数据同步方法、存储介质及设备。该数据同步方法包括：从每个源端数据库中分别获取一条增量数据；将获取到的所述增量数据发送至协调节点，所述协调节点位于目标数据库与各所述源端数据库之间，用于关联所述目标数据库与各所述源端数据库之间的同步链路；确定所述协调节点中优先级最高的增量数据；将所述优先级最高的增量数据投递至所述目标数据库。本发明的优点是能够在多对一的数据同步场景下，确保数据同步的准确性，加快数据的同步速度。

技术领域

本发明涉及数据库领域，特别是涉及一种数据同步方法、存储介质及设备。

背景技术

利用数据同步工具进行数据的实时同步一般分为三个阶段，第一阶段进行存量数据的初始化装载，获得数据同步的基础点；第二阶段以初始化数据装载建立的同步基础点为基准进行增量数据同步；第三阶段定期对数据同步的源端数据和目标数据进行比对校验，以确认在数据同步过程中没有丢失数据。

在数据同步的使用场景中，其中有一种是多对一的数据同步。例如，将源端数据库A和B中的数据同步到目标数据库C中。现有的做法是在目标数据库C与源端数据库A和B之间分别部署同步链路，两条同步链路彼此独立，分别将源端数据库A和B的数据同步至目标数据库C中。

但是在实际应用中，源端数据库A和B的数据在同步到目标数据库C的过程中，数据同步的先后顺序可能是有要求的。例如，要求先将源端数据库A中的一条数据插入到目标数据库C，再将源端数据库B中的一条数据插入到目标数据库C，若先后顺序发生错误可能会导致同步失败，因此还有待改善。

发明内容

本发明的一个目的是要提供一种克服上述问题或者至少部分地解决上述问题的数据同步方法、存储介质及设备。

本发明的一个进一步的目的是要降低协调节点的处理逻辑复杂度。

特别地，本发明提供了一种数据同步方法，包括：

从每个源端数据库中分别获取一条增量数据；

将获取到的所述增量数据发送至协调节点，所述协调节点位于目标数据库与各所述源端数据库之间，用于关联所述目标数据库与各所述源端数据库之间的同步链路；

确定所述协调节点中优先级最高的增量数据；

将所述优先级最高的增量数据投递至所述目标数据库。

可选地，从每个源端数据库中分别获取一条增量数据的步骤包括：

解析每个源端数据库的日志表；

从解析后的所述日志表中获取带有全局标记的增量数据。

可选地，所述全局标记为时间戳，确定所述协调节点中优先级最高的增量数据的步骤包括：

比较所述协调节点中各增量数据的时间戳大小；

将所述时间戳最小的增量数据作为优先级最高的增量数据。

可选地，所述全局标记为变更号或序列号，确定所述协调节点中优先级最高的增量数据的步骤包括：

将所述协调节点中各增量数据的变更号或序列号对应转化为时间戳；

比较所述协调节点中各增量数据的时间戳大小；

将所述时间戳最小的增量数据作为优先级最高的增量数据。

可选地，在将所述优先级最高的增量数据投递至所述目标数据库的步骤之后，还包括：

判断已投递增量数据的源端数据库中是否仍存在增量数据；

若是，从已投递增量数据的源端数据库中获取下一条增量数据；

将获取到的所述增量数据发送至协调节点。