[发明专利]一种数据同步方法及终端

说明书

本发明公开了一种数据同步方法及终端，通过监控每一个从节点的主从同步延迟时间，当延迟时间超过第一延迟时间且未超过第二延迟时间时，使用单线程对数据库的操作日志进行数据库语句的聚合；当延迟时间超过第二延迟时间时，使用多线程对数据库的操作日志进行数据库语句的聚合，但是多线程的场景下进行数据聚合会造成数据不准确的情况；根据聚合得到的数据库语句进行数据同步，因此，对于数据要求不高的场景，使用非事务性数据同步的方式，能够提高数据同步的吞吐量，减少主从同步的延迟时间。

技术领域

本发明涉及数据库技术领域，特别涉及一种数据同步方法及终端。

背景技术

目前各个数据库集群为了实现扩容以及大数据量存储，一般都是采用分布式方式进行数据库节点的部署。同时，为了进一步提高系统的性能，会进行数据库主从分离，即数据均写入主节点，通过数据同步的方式同步至从节点中，数据读取从从节点处进行。

通常旧有数据同步为了确保同步的准确性，必须按照事务的特性，逐条地按照日志的顺序进行数据的同步，但是同步性能有待提高。并且在某些不太需要确保数据准确性的数据同步场景下，采用事务特性进行数据同步的方式会进一步的限制数据同步的吞吐量，增加主从同步的延迟时间。

发明内容

本发明所要解决的技术问题是：一种数据同步方法及终端，能够在数据精度要求不高的场景下，提高数据同步的吞吐量。

为了解决上述技术问题，本发明采用的技术方案为：

一种数据同步方法，包括步骤：

监控每一个从节点的主从同步延迟时间，若所述延迟时间超过第一延迟时间，则判断所述延迟时间是否超过第二延迟时间，若是，则使用多线程对数据库的操作日志进行数据库语句的聚合，否则，使用单线程对数据库的操作日志进行数据库语句的聚合；

根据聚合得到的数据库语句进行数据同步。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种数据同步终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

监控每一个从节点的主从同步延迟时间，若所述延迟时间超过第一延迟时间，则判断所述延迟时间是否超过第二延迟时间，若是，则使用多线程对数据库的操作日志进行数据库语句的聚合，否则，使用单线程对数据库的操作日志进行数据库语句的聚合；

根据聚合得到的数据库语句进行数据同步。

本发明的有益效果在于：通过监控每一个从节点的主从同步延迟时间，当延迟时间超过第一延迟时间且未超过第二延迟时间时，使用单线程对数据库的操作日志进行数据库语句的聚合；当延迟时间超过第二延迟时间时，使用多线程对数据库的操作日志进行数据库语句的聚合，但是多线程的场景下进行数据聚合会造成数据不准确的情况；根据聚合得到的数据库语句进行数据同步，因此，对于数据要求不高的场景，使用非事务性数据同步的方式，能够提高数据同步的吞吐量，减少主从同步的延迟时间。

附图说明

图1为本发明实施例的一种数据同步方法的流程图；

图2为本发明实施例的一种数据同步终端的示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，本发明实施例提供了一种数据同步方法，包括步骤：

监控每一个从节点的主从同步延迟时间，若所述延迟时间超过第一延迟时间，则判断所述延迟时间是否超过第二延迟时间，若是，则使用多线程对数据库的操作日志进行数据库语句的聚合，否则，使用单线程对数据库的操作日志进行数据库语句的聚合；