[发明专利]数据同步方法和装置、电子设备和存储介质

说明书

本申请提供了一种数据同步方法和装置、电子设备和存储介质，其中，该方法包括：接收第一节点发送的目标同步请求，其中，目标同步请求用于请求第二节点向第一节点同步数据；在确定向第一节点进行增量同步的情况下，获取第一操作记录，其中，第一操作记录是从第一磁盘文件中获取的数据操作记录，第一磁盘文件用于保存第二节点上的数据操作记录；响应目标同步请求，将第一操作记录发送给第一节点，以在第一节点基于第一操作记录进行增量同步。通过本申请，解决了相关技术中的主从同步方式存在内存资源占用量大的问题。

技术领域

本申请涉及数据处理领域，尤其涉及一种数据同步方法和装置、电子设备和存储介质。

背景技术

目前，数据库系统中的主从同步模式主要有两个，一个是sync模式(同步模式，全量同步)，一个是psync模式(异步模式，增量同步)。以Redis(Remote Dictionary Server，即远程字典服务)为例，全量同步是指：主节点在接收到从节点的sync命令之后，基于bgsave(后台保存)命令将某一时刻之前的快照(备份的数据库数据)保存成RDB(RedisDatabase，Redis数据库)文件，并将生成的RDB文件中的数据发送给从节点。增量同步是指：基于上次的复制缓冲位置，如果在内存的复制缓冲区(复制积压缓冲区，backlog缓冲区)存在需要的增量数据可以继续断点位置同步。

然而，对于全量同步的方式，基于bgsave逻辑需要fork(派生)子进程，这样会占用大量的内存资源。对于增量同步的方式，由于需要基于主从状态下的复制缓冲区中有内存缓存最近的写日志，为了更好的进行断点续传，需要调大复制缓冲区的大小，这样也会占用大量的内存资源。

因此，相关技术中的主从同步方式存在内存资源占用量大的问题。

发明内容

本申请提供了一种数据同步方法和装置、电子设备和存储介质，以至少解决相关技术中的主从同步方式存在内存资源占用量大的问题。

根据本申请实施例的一个方面，提供了一种数据同步方法，包括：接收第一节点发送的目标同步请求，其中，所述目标同步请求用于请求第二节点向第一节点同步数据；在确定向所述第一节点进行增量同步的情况下，获取第一操作记录，其中，所述第一操作记录是从第一磁盘文件中获取的数据操作记录，所述第一磁盘文件用于保存所述第二节点上的数据操作记录；响应所述目标同步请求，将所述第一操作记录发送给所述第一节点，以在所述第一节点基于所述第一操作记录进行增量同步。

可选地，在接收所述第一节点发送的所述目标同步请求之后，所述方法还包括：提取所述目标同步请求中携带的目标偏移量信息，其中，所述目标偏移量信息用于指示所述第一节点的复制偏移量；在所述第一节点的复制偏移量与所述第一磁盘文件中保存的数据操作记录匹配的情况下，确定向所述第一节点进行增量同步。

可选地，在接收所述第一节点发送的所述目标同步请求之后，所述方法还包括：在确定对所述第一节点进行全量同步的情况下，获取目标同步数据，其中，所述目标同步数据包括第一快照文件中的数据和第二操作记录，所述第一快照文件是预先生成的、所述第二节点在第一时间点的全量数据文件，所述第二操作记录是从所述第一磁盘文件中读取到的、在所述第一时间点之后的数据操作记录；响应所述目标同步请求，将所述目标同步数据发送给所述第一节点，以在所述第一节点基于所述目标同步数据进行全量同步。

可选地，在获取所述第一操作记录之后，所述方法还包括：生成初始快照文件和第二磁盘文件；通过所述第二磁盘文件保存所述第二节点上在第二时间点之后的数据操作记录；将所述第二节点在所述第二时间点的全量数据写入到所述初始快照文件中，以创建第二快照文件；在所述第二快照文件创建成功的情况下，将所述第一磁盘文件删除。

可选地，生成所述初始快照文件和所述第二磁盘文件包括：获取所述第二节点的目标负载参数，其中，所述目标负载参数用于指示所述第二节点的负载状态；在根据所述目标负载参数确定所述第二节点处于目标负载状态的情况下，触发生成所述初始快照文件和所述第二磁盘文件。