[发明专利]一种分布式存储数据的备份方法及其装置

说明书

本发明公开一种分布式存储数据的备份方法及其装置，方法步骤包括：将对象数据块存储于数据存储桶的实例内，对实例的id进行记录形成第一实例列表；对实例中各个对象数据块形成第一MD5校验结果；第二对象存储集群创建若干个数据备份桶；将每个实例的对象数据块分别存进去对应的数据备份桶内；一定时间段后，读取数据存储桶内的实例，形成第二实例列表，对实例中各个对象数据块形成第二MD5校验结果；判断第二实例列表中是否有与第一实例列表不同id的实例；将不同id的实例及实例内的对象数据块发送至数据备份桶；将不同MD5值的对象数据块发送至第二对象存储集群进行备份。本发明实现对象存储的差异备份，并保证必要数据存储的一致性。

技术领域

本发明涉及分布式存储技术领域，特别涉及一种分布式存储数据的备份方法及其装置。

背景技术

对象存储是一种基于对象的存储技术，其扁平的结构和分片式存储有利于现代应用数据的读写。在分布式对象存储中，文件会以对象的方式存放到桶（bucket）中，每个对象都有一个唯一标识。

因为使用场景的不同，块存储可以通过导出块文件的方式实现迁移备份，并实现差异导出合并等功能。尽管对象存储是一写多读的场景，但是对象存储的关键数据还是有备份的需求。

对象存储使用场景中，因为主存储需要保证其性能，所以需要定时清除过时的、历史的数据，而旧数据需要做长期的、持久的备份，所以需要另一套备份对象存储集群，实现对象存储的差异备份，并保证其一致性。

发明内容

本发明要解决的技术问题在于，提供一种分布式存储数据的备份方法及其装置，实现对对象存储数据的差异性备份，并且第一对象存储集群和第二对象存储集群实际所需保存的数据保持一致性。

为解决上述技术问题，本发明提供如下技术方案：一种分布式存储数据的备份方法及，包括以下步骤：

步骤S1、第一对象存储集群创建若干个数据存储桶；

步骤S2、对每一个数据存储桶创建若干个实例，每个实例均分配一个id且各个id均不一致；

步骤S3、第一对象存储集群对外接收数据，将数据均分成若干块对象数据块并将对象数据块存储于数据存储桶的实例内，每个实例包括若干对象数据块；

步骤S4、对象存储备份单元读取每一个数据存储桶内的实例，并对实例的id作为标记进行记录形成第一实例列表；对象存储备份单元将第一对象存储集群内每个实例的全部对象数据块导出至对象存储备份单元，对象存储备份单元对每个实例的全部对象数据块进行MD5校验，对实例中各个对象数据块的MD5值进行记录且形成一个第一MD5校验结果，其中，每个实例均形成一个第一MD5校验结果；

步骤S5、第二对象存储集群创建若干个数据备份桶，其中，数据备份桶与第一对象存储集群的数据存储桶数量一致，且数据备份桶与数据存储桶一一对应，数据备份桶内实例与数据存储桶内实例的id相同且一一对应；

步骤S6、对象存储备份单元将第一对象存储集群中数据存储桶内每个实例的全部对象数据块分别存进去对应的数据备份桶内，数据备份桶内的对象数据块与其对应的数据存储桶内的对象数据块保持一致；

步骤S7、重复步骤S2和步骤S3；

步骤S8、经过一定时间段后，对象存储备份单元读取每一个数据存储桶内的实例，并对实例的id作为标记进行记录形成第二实例列表；对象存储备份单元将第一对象存储集群内每个实例的全部对象数据块导出至对象存储备份单元，对象存储备份单元对每个实例的全部对象数据块进行MD5校验，对实例中各个对象数据块的MD5值进行记录且形成一个第二MD5校验结果，其中，每个实例均形成一个第二MD5校验结果；

步骤S9、对第一实例列表和第二实例列表进行判断，判断第二实例列表中是否有与第一实例列表不同id的实例；