[发明专利]一种基于RDC不定长分块策略的数据同步方法及装置

说明书

本发明公开了一种基于RDC不定长分块策略的数据同步系统及方法，所述方法包括如下步骤：步骤S1，由源端将需要同步的块设备/文件信息发送至备端；步骤S2，获取备端发送的该块设备/文件对应的备份块设备/文件的各数据块的校验和；步骤S3，源端读取所述块设备/文件的各数据块，并计算校验和，将计算获得的校验和与获得的备份块设备/文件对应数据块的校验和对比；步骤S4，根据步骤S3的对比结果基于不定长策略确定连续性不变数据块以及连续性增量数据块，并对连续性不变数据块以及连续性增量数据块采用不同策略分别进行同步，本发明可实现不定长地发送增量数据块和不变数据块，提高数据同步效率。

技术领域

本发明涉及计算机数据备份技术领域，特别是涉及一种基于RDC(RemoteDifferential Compression，远程差分压缩)不定长分块策略的数据同步方法及装置。

背景技术

数据备份是容灾的基础。数据备份的过程就是将生产机的数据同步到目标机。

在数据同步过程中，目前普遍采用的方法是将需要备份的文件或块设备(例如磁盘)分成等长的数据块，对每个数据块进行校验和同步。这种等长的数据块方法有效地提高了数据同步效率，同时缓解了内存压力。但同时，该方法也有不小的弊端，其中较为明显的一个弊端就是：当生产机增量数据不多或增量数据块比较集中时，该方法会对不变的数据块多次等长发送，导致同步效率较低。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于RDC不定长分块策略的数据同步方法及装置，以实现不定长地发送增量数据块和不变数据块，从而提高数据同步效率。

为达上述目的，本发明提供一种基于RDC不定长分块策略的数据同步系统，包括：

源端，将需要同步的块设备/文件信息发送至备端，获取所述备端发送的该块设备/文件对应的备份块设备/文件的各数据块的校验和，读取源端所述块设备/文件的各数据块并计算校验和，将计算获得的校验和与获得的备份块设备/文件对应数据块的校验和对比，根据对比结果基于不定长策略确定连续性不变数据块以及连续性增量数据块，并对连续性不变数据块以及连续性增量数据块采用不同策略分别进行同步；

备端，用于获取所述源端发送的需要同步的块设备/文件信息，根据需要同步的块设备/文件信息获取备端本机的所述备份块设备/文件，读取并计算所述备份块设备/文件各数据块的校验和，并发送至所述源端，于接收到所述源端的同步数据后，对连续性不变数据块以及连续性增量数据块采用对应策略进行同步处理。

优选地，所述源端包括：

发送单元，用于将需要同步的块设备或文件信息发送至所述备端；

备端校验和接收单元，用于接收所述备端发送的对应备份块设备/文件的各数据块的校验和；

源端校验和计算比对单元，用于读取所述块设备/文件的各数据块，计算各数据块的校验和，与接收的备份块设备/文件的对应数据块的校验和进行比对；

统计单元，用于根据所述源端校验和计算比对单元的计算比对结果累计校验和相同的和校验和不同的连续性数据块；

同步单元，用于根据统计结果，分别发送校验和相同的连续多个数据块偏移量和大小，以及校验和不同的连续多个数据块偏移量和增量数据至所述备端。

优选地，所述备端校验和接收单元于接收到所述备端发送的对应备份块设备/文件的各数据块的校验和后，将其加载至一校验和线性表中。

优选地，所述统计单元分别累计统计连续性的校验和相同的数据块直到校验结果不同，以及累计统计连续性的校验和不同的数据块，直到校验结果相同。

优选地，所述统计单元将各累计值与预设的最大发送数据块阈值进行比对，当其中之一或全部累计值到达所述最大发送数据块阈值时，启动所述同步单元。