[发明专利]数据同步方法、存储系统、设备及存储介质

说明书

本申请提供一种数据同步方法、存储系统、设备及存储介质，涉及存储领域。该存储系统包括第一计算节点、第二计算节点和共享存储设备，其中，第一计算节点将获取到的主副本刷新成内存中的数据段时，通过网络传输将数据段的第一部分数据复制到第二计算节点，以及在满足预置的存储条件时，将数据段存储到共享存储设备，第二计算节点对接收到的第一部分数据进行处理和存储，并在确定未存储数据段的第二部分数据时，从共享存储设备读取并加载第二部分数据，第一部分数据和第二部分数据是主副本的从副本。该技术方案中，在计算和存储分离的存储系统架构下，使用共享存储设备和网络传输两条同步链路实现的主从副本同步，提高了数据同步效率。

技术领域

本申请涉及存储领域，尤其涉及一种数据同步方法、存储系统、设备及存储介质。

背景技术

在数据的储存过程中，为了保证数据安全，分布式存储系统一般采用多副本来存储数据。多副本中的一份数据副本作为主副本，其它数据副本作为从副本。由于多副本分别位于不同位置，这样即使出现某个副本出现故障，数据也不会丢失。因而，如何实现多副本的数据同步是亟需解决的问题。

现阶段，基于网络传输可以实现主从副本的数据同步。即，某个计算节点将接收到用户写入的数据刷新成主副本后，一方面将该主副本写到本地盘，另一方面，通过网络传输将主副本同步到其他的计算节点，得到从副本，其他的计算节点再将从副本存储至本地盘，从而实现主从副本的数据同步。但在该方法中，数据的计算和存储是一体的，存在数据同步效率低、副本扩缩容困难、灵活性差的问题。

发明内容

本申请提供一种数据同步方法、存储系统、设备及存储介质，以实现数据的计算和存储分离，解决副本扩缩容困难、数据同步效率低、灵活性差的问题。

第一方面，本申请提供一种数据同步方法，应用于存储系统中，所述存储系统包括第一计算节点、第二计算节点和共享存储设备，所述方法包括：

所述第一计算节点在将获取到的主副本刷新成内存中的数据段时，通过网络传输将所述数据段中的第一部分数据复制到所述第二计算节点；

所述第二计算节点对接收到的所述第一部分数据进行处理和存储；

在满足预置的存储条件时，所述第一计算节点将所述内存中的数据段存储到所述共享存储设备，所述存储条件包括所述内存中的数据段总大小大于容量阈值，和/或，距离前一次存储的时间间隔大于间隔阈值；

所述第二计算节点在确定未存储所述数据段的第二部分数据时，从所述共享存储设备读取并加载所述第二部分数据，所述第一部分数据和所述第二部分数据是所述主副本的从副本。

第二方面，本申请提供一种数据同步方法，应用于第一计算节点，该方法包括：

在将获取到的主副本刷新成内存中的数据段时，通过网络传输将所述数据段中的第一部分数据复制到第二计算节点；

在满足预置的存储条件时，将所述内存中的数据段持久化存储到共享存储设备，所述共享存储设备用于供所述第二计算节点读取并加载未存储的所述数据段中的第二部分数据，所述存储条件包括所述内存中的数据段总大小大于容量阈值，和/或，距离前一次存储的时间间隔大于间隔阈值。

第三方面，本申请提供了一种数据同步方法，应用于第二计算节点，所述方法包括：

从第一计算节点接收同步的第一部分数据；

对所述第一部分数据进行校验和合并，得到目标数据段；

在确定未存储第二部分数据时，从共享存储设备读取并加载所述第二部分数据，所述共享存储设备用于存储所述第一计算节点获取到的主副本，所述第一部分数据和所述第二部分数据是所述主副本的从副本。

第四方面，本申请提供了一种数据同步方法，应用于共享存储设备，所述方法包括：