[发明专利]一种跨集群对象存储异步备份方法、装置和系统

说明书

本申请提供了一种跨集群对象存储异步备份方法、装置和系统，该方法包括：从数据库服务器上获取同步的数据列表；将数据列表中的用户操作对象名称划分为多个任务，并下发到缓存队列中；针对缓存队列中本同步服务器处理的任务从主集群服务器获取对应的用户操作对象的数据和状态；根据获取的状态，将获取的数据备份到从集群服务器。该方法能够在不改变原有对象存储代码的基础上，简单、高效地实现对象存储后端异步同步。

技术领域

本发明涉及存储技术领域，特别涉及一种跨集群对象存储异步备份方法、装置和系统。

背景技术

对象存储是一种海量小文件的分布式存储系统，它将对象(Object)以扁平化的结构存储在以桶(Bucket)为命名空间的两级结构中，通过在Bucket中新增Object，克服目录树管理的不足，从而实现海量小文件的存储。对象存储部署在一个独立的集群上，为了避免单个集群发生故障时数据丢失，需要将数据备份到其它集群，其中，用户写入的集群称为主集群，备份主集群的数据的集群称为从集群。

当前的对象存储集群同步方法有两种：

第一种、写入时实时备份：

当对象写入到对象存储集群时，由写入对象的主集群将请求同时发送到另外一个集群，两个集群同时写入对象，并且在主集群或者从集群收集两个集群的写入结果，根据不同的策略来决定返回给用户的结果。例如：策略一：当两个集群都返回成功时才返回用户成功，任意一个集群失败或超时则返回用户失败；策略二：当两个集群任何一个返回成功时就返回用户成功，若某个集群失败，则辅助以后端同步服务，将成功端的对象复制到失败端；策略三：按照用户写入的主集群的执行结果，来返回给用户相应的结果，辅助以后端同步服务，将主集群的对象状态复制到从集群；以及除此之外等等一系列策略。

该种备份方式，由于两边集群执行结果不可控，容易产生一致性问题，若需要保证最终一致，往往需要辅助以后端异步复制方案，复杂度较之后端异步同步方案更高。由于要等待两边集群执行结果，主集群更新逻辑复杂，且会增加客户端请求执行时长。

第二种、后端异步备份：

该方案采用异步备份的方式，使用后端服务进行对象的跨集群复制，保证两个集群数据的最终一致性，是市面上比较常采用的方案，其详细步骤如下：

1、用户写入数据到主集群，数据落入集群之前，对象存储将数据的操作信息先记录到消息队列。

2、如果写消息队列的动作失败，则返回给用户失败。

3、如果写消息队列的动作成功，则继续写主集群，并且根据操作结果返回给用户操作结果。

4、后端同步服务，不断从消息队列取出数据的操作记录，根据操作记录将主集群的数据异步复制到从集群。

该方案可以保证数据的最终一致性，但大部分方案实现需要改动对象存储服务的代码，其需要对每个改写数据的API做改造，实现复杂度很高，容易出错。由于数据在真正落入主集群之前写操作队列，所以消息队列中可能会有许多无效操作信息。

相同对象的多次操作记录多条消息，进行多次同步操作，冗余性比较高，浪费同步资源。后端同步服务拿到操作记录后，需要判断操作是否真实有效，再进行同步，当同步时，同步服务查看主集群数据状态，将难以区分数据操作失败与数据操作进行中，从而无法判断同步时的数据状态是否是最终状态。

上述两种实现方案都需要改动原有对象存储代码，实现难度系数比较大。

发明内容

有鉴于此，本申请提供一种跨集群对象存储异步备份方法、装置和系统，能够在不改变原有对象存储代码的基础上，简单、高效地实现对象存储后端异步同步。

为解决上述技术问题，本申请的技术方案是这样实现的：