[发明专利]一种数据同步方法、系统、装置、设备及介质

说明书

本发明公开了一种数据同步方法、系统、装置、设备及介质。该方法包括：对源数据库进行监听，形成监听日志，监听日志中包括至少一个同步数据项，每个同步数据项中包括操作数据，以及与操作数据匹配的操作类型；根据所述监听日志，形成与各同步数据项分别对应的数据同步请求；在备选代理服务器集群中，确定目标代理服务器；将各所述数据同步请求发送至目标代理服务器，以指示所述目标代理服务器依据负载策略针对各所述目标数据库执行各所述数据同步请求。通过本发明的技术方案，能够实现高效地进行数据同步，提高了数据同步的效率以及可用性。

技术领域

本发明涉及数据传输技术领域，尤其涉及一种数据同步方法、系统、装置、设备及介质。

背景技术

随着互联网技术的快速发展，互联网流量越来越大，为各大互联网公司进行不同区域之间的数据同步造成了极大的困扰。

现有技术中，通常利用Canal进行不同区域的数据同步，其中，Canal主要通过对源数据库的增量日志进行解析，来获取增量的数据信息。然而，由于利用Canal进行数据同步可能会存在服务器失效后数据同步无法继续进行的问题，因此，如何高效地进行数据同步是目前亟待解决的问题。

发明内容

本发明提供了一种数据同步方法、系统、装置、设备及介质，可以解决现有技术中数据同步效率低的问题。

根据本发明的一方面，提供了一种数据同步方法，包括：

对源数据库进行监听，形成监听日志，监听日志中包括至少一个同步数据项，每个同步数据项中包括操作数据，以及与操作数据匹配的操作类型；

根据所述监听日志，形成与各同步数据项分别对应的数据同步请求；

在备选代理服务器集群中，确定目标代理服务器；

将各所述数据同步请求发送至目标代理服务器，以指示所述目标代理服务器依据负载策略针对各所述目标数据库执行各所述数据同步请求。

可选的，对源数据库进行监听，形成监听日志，包括：

每当监听到所述源数据库中生成新的日志文件时，根据所述日志文件的文件大小，从所述源数据库中分片获取所述日志文件中包括的各所述操作数据项；

将各所述操作数据项作为所述同步数据项，存储于所述监听日志中。

上述技术方案通过根据源数据库中生成的新的日志文件的大小，分片获取日志文件中的各操作数据项，并将操作数据项作为同步数据项存储至监听日志，实现了对源数据库的日志文件进行分片提取，提高了源数据库日志文件的获取效率，并为后续的操作提供了有效的基础。

可选的，根据所述监听日志，形成与各同步数据项分别对应的数据同步请求，包括：

获取与当前处理的目标同步数据项对应的目标操作数据以及目标操作类型，并根据所述目标操作类型，确定数据读写类型；

构建与所述数据读写类型匹配的目标数据同步请求，并将所述目标操作数据以及目标操作类型加入至所述目标数据同步请求中。

上述技术方案通过将当前处理的目标同步数据项中目标操作类型对应的数据读写类型与目标操作数据以及目标操作类型一同构建目标数据同步请求，可以使得目标数据同步请求更加完善，并为后续的操作提供了有效的基础。

可选的，在备选代理服务器集群中，确定目标代理服务器，包括：

在备选代理服务器集群中，获取当前标识为主机的代理服务器，作为所述目标代理服务器；

其中，所述备选代理服务器集群中包括主机和至少一个备机，所述主机在发生故障时，触发主备切换，所述主机在正常运行时，实时监控各备机运行状态，以保证至少一个备机与所述主机保持同步正常运行。