[发明专利]集群间数据同步方法及装置

说明书

本申请涉及一种集群间数据同步方法及装置，集群间数据同步方法包括每个集群中设置集群同步服务，所有集群同步服务与集群数据库连接；收集各个集群生成的事务日志，事务日志中包括需要同步的业务数据和需要同步的集群节点，集群数据库接收事务日志，将所述需要同步的业务数据同步至需要同步的集群节点。本申请中集群间数据通过集群同步服务和集群数据库进行同步，不需要文件传输拷贝，主备节点都可以读取和写入，同步效率提高，保证各个集群节点数据一致，并且，标识区分需要同步的集群节点，减少日志传输量，提高日志传输效率。

技术领域

本申请属于计算机技术领域，具体涉及一种集群间数据同步方法及装置。

背景技术

随着对数据管理和存储的需求也不断增加，为了满足对大规模的数据进行存储和管理，近几年来出现了搭建服务器集群对数据进行管理和存储的方案。通常设置多个集群获取同一数据源的数据进行存储和管理。现有技术中，通过Streaming Replication（流复制）传递WAL日志的方式进行集群间数据同步，PG集群中设置有主集群和备集群，只要主集群产生日志，就会立马传递到备集群。由于WAL日志只能一个个传送，因此，备集群至少比主集群落后一个WAL日志，会出现主备集群间数据不一致或者不连贯的情况，影响用户体验。并且，只有主集群产生WAL日志，备集群只读取，可写入的节点必须是主节点，集群使用效率不高。当前方案PG集群间同步流复制需要每个节点都需要运行一个接受WAL日志的进程，流复制时每个节点都需要进行WAL日志传输，拷贝量大，效率低。

发明内容

为至少在一定程度上克服传统的集群间数据同步方法会出现主备集群间数据不一致或者不连贯的情况、集群使用效率不高，以及拷贝量大，效率低的问题，本申请提供一种集群间数据同步方法及装置。

第一方面，本申请提供一种集群间数据同步方法，包括：

每个集群中设置集群同步服务，所有集群同步服务与集群数据库连接；

收集各个集群生成的事务日志，所述事务日志中包括需要同步的业务数据和需要同步的集群节点；

所述集群数据库接收所述事务日志，将所述需要同步的业务数据同步至需要同步的集群节点。

进一步的，将需要同步的业务数据同步至需要同步的集群节点，包括：

判断所述需要同步的集群节点的状态是否正常；

若是，所述集群数据库将数据同步至状态正常的集群节点；

否则，缓存所述事务日志，等待集群节点状态恢复正常时再进行数据同步。

进一步的，还包括：

对所述事务日志进行压缩和/或加密操作。

进一步的，还包括：

在生成事务日志时，生成与所述事务日志对应的时间戳；

比较当前待同步的事务日志的数据戳 和 集群中与当前待同步的事务日志对应的实际事务日志的时间戳；

将最新时间戳对应的事务日志进行同步操作。

进一步的，还包括：

对集群节点使用NTP进行时间同步。

进一步的，所述等待集群节点状态恢复正常时再进行数据同步，包括：

判断集群节点状态是否恢复正常；

若是，对需要重做的事务日志进行重做。

进一步的，还包括：

判断数据同步任务是否执行成功；

若否，对同步失败的事务日志缓存预设周期后重做。

进一步的，还包括：

创建同步服务进程，一个同步服务进程只处理一个事务日志的同步操作。

第二方面，本申请提供一种集群间数据同步装置，包括：