[发明专利]主从同步方法及装置

说明书

本发明提供了一种主从同步方法及装置，该方法包括：从节点的第一线程接收主节点发送的数据同步命令，并根据所述数据同步命令的顺序依次记录日志文件；所述第一线程将所述数据同步命令分发至所述从节点的多个第二线程，由所述多个第二线程并行地执行；若所述第二线程成功执行所述数据同步命令，则向所述从节点的第三线程发送确认信息；所述第三线程根据所述确认信息更新所述日志文件中的偏移量。基于本发明提供的主从同步方法，可以在保证从节点写入同步命令的顺序与主节点发送命令顺序一致的前提下，开启多个第二线程并行执行数据同步命令，加快数据同步速度，缩短主从同步延迟，进而高效地完成数据的主从同步。

技术领域

本发明涉及计算机技术领域，特别是涉及一种主从同步方法及装置。

背景技术

在数据存储中，为防止系统出现操作失误或系统故障导致数据丢失，数据的备份必不可少。尤其是在分布式数据存储系统中，针对同一份数据，会通常会存储在一个主数据库和多个从数据库中，其中，从数据库的数据可以与主数据库进行同步获得。

传统主从同步方法中，主节点接收用户写请求后，将数据写入数据库中并同时记录写的操作，再向从节点发送数据同步命令。从节点接收同步的命令后执行该同步命令，将数据写入数据库并记录写入操作，以完成一次命令同步。但是，一般情况下主节点会多线程接收用户请求，而从节点为了保证与主节点的写入操作顺序一致，会采用单个线程进行工作。因此，当线上写请求量很大的情况下，同步速度会远远落后于主节点的写入速度，造成同步延迟。

发明内容

本发明提供了一种主从同步方法及装置以克服上述问题或者至少部分地解决上述问题。

根据本发明的一个方面，提供了一种主从同步方法，包括：

从节点的第一线程接收主节点发送的数据同步命令，并根据所述数据同步命令的顺序依次记录日志文件；所述第一线程将所述数据同步命令分发至所述从节点的多个第二线程，由所述多个第二线程并行地执行；若所述第二线程成功执行所述数据同步命令，则向所述从节点的第三线程发送确认信息；所述第三线程根据所述确认信息更新所述日志文件中的偏移量。

可选地，所述第一线程将所述数据同步命令分发至多个第二线程，由所述多个第二线程并行地执行，包括：在数据单元和所述第二线程之间建立对应关系，所述第一线程将同一数据单元的数据同步命令分发至同一第二线程执行。

可选地，所述数据同步命令包括：该数据同步命令在所述日志文件中的偏移量和/或所述日志文件的长度。

可选地，所述第三线程根据所述确认信息更新所述日志文件中的偏移量，包括：所述第三线程接收所述第二线程发送的确认信息，记录成功执行的所述数据同步命令在所述日志文件中的偏移量；对成功执行的所述数据同步命令在所述日志文件中的偏移量进行排序，若存在连续的偏移量，且所述连续的偏移量与所述日志文件当前的全局偏移量也是连续的，则依据所述日志文件当前的全局偏移量和所述连续的偏移量对所述日志文件的全局偏移量进行更新。

可选地，所述第三线程根据所述确认信息更新所述日志文件中的偏移量，还包括：对成功执行的所述数据同步命令在所述日志文件中的偏移量进行排序，若存在空洞，则确定所述空洞对应的数据同步命令对应的数据单元；若所述第三线程后续接收到所述第二线程发送的对应于该数据单元的确认信息，则跳过所述空洞，更新所述日志文件的全局偏移量。

可选地，上述方法还包括：若所述空洞的数量达到第一阈值，则向所述第一线程发送消息，由所述第一线程断开与主节点的同步进程，并发出报警信息。

可选地，上述方法还包括：若所述空洞之后连续的偏移量的数量达到第二阈值，则跳过所述空洞，更新所述日志文件的全局偏移量；或若所述空洞之后连续的偏移量的数量达到所述第二阈值，则向所述第一线程发送消息，由所述第一线程断开与主节点的同步过程，并发出报警信息。