[发明专利]基于分布式对象的数据存储方法及装置

说明书

本发明公开了一种基于分布式对象的数据存储方法及装置。其中，该方法包括：接收分布式传输的多个数据克隆任务，其中，数据克隆任务中携带有待克隆的源数据桶对象的对象信息；根据数据克隆任务，使用桶快照克隆功能对源数据桶对象进行对象克隆，得到目标克隆对象，其中，桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象；控制对象存储网关将目标克隆对象存储至数据持久层。本发明解决了相关技术中通过独立部署的迁移工具进行数据存储、迁移时，容易导致文件传输失败的技术问题。

技术领域

本发明涉及数据存储技术领域，具体而言，涉及一种基于分布式对象的数据存储方法及装置。

背景技术

相关技术中，在进行数据存储、迁移时，一般是使用迁移工具来进行数据转移，例如，使用U盘、光盘等进行数据迁移，这种数据存储、迁移方式，操作繁重易错，启动准备时间长(独立部署、独立的双端配置文件)，需要额外的迁移集群或计算资源支撑，主要原理为迁移工具先List出源数据的对象列表，之后按照对象列表做数据迁移。如果在List完之后，源端某些文件被删除，就会出现源端文件不存在的情况。这种文件会被跳过，通常把文件输出在错误列表里。

迁移工具是有状态的，已经迁移成功的，会在数据库内创建对应条目和状态机。每次迁移前对要迁移的路径，先在db中查找下是否存在，如果存在，且属性和数据库中存在的一致，则跳过迁移，否则进行迁移。这里的属性根据迁移类型的不同而不同，对于本地迁移，会判断mtime、对象的etag和长度等是否与数据库中一致。因此，迁移工具参照db中是否有过迁移成功的记录，来确定文件是否迁移完毕，如果绕过了迁移工具，通过别的方式(如RESTFUL API或者控制台)删除修改了文件，那么迁移工具不会重新迁移。

由于迁移工具独立于对象存储系统存在，其需要独立安装部署，由于本身业务模型和资源调度限制等因素，需要配置双端的集群信息和操作权限，并且具有先下载、后上传的技术特性，故难免造成IO放大。同时不能直观的在对象存储的控制界面中查看全部任务调度和完成进度等监控信息的问题，再有就是该种模型不能解决拷贝时源端删除导致传输失败的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于分布式对象的数据存储方法及装置，以至少解决相关技术中通过独立部署的迁移工具进行数据存储、迁移时，容易导致文件传输失败的技术问题。

根据本发明实施例的一个方面，提供了一种基于分布式对象的数据存储方法，包括：接收分布式传输的多个数据克隆任务，其中，所述数据克隆任务中携带有待克隆的源数据桶对象的对象信息；根据所述数据克隆任务，使用桶快照克隆功能对所述源数据桶对象进行对象克隆，得到目标克隆对象，其中，所述桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象；控制对象存储网关将所述目标克隆对象存储至数据持久层。

可选地，根据所述数据克隆任务，使用桶快照克隆功能对所述源数据桶对象进行对象克隆，得到目标克隆对象的步骤包括：根据所述数据克隆任务，确定源数据桶对象的位置和所占空间大小；基于所述源数据桶对象的位置和所占空间大小，对所述源数据桶对象进行桶快照处理，以拷贝当前时刻的所述源数据桶对象的全部数据，得到快照数据集合；基于所述快照数据集合，生成桶克隆任务；基于所述桶克隆任务，对所述源数据桶对象进行桶克隆处理，得到所述目标克隆对象。

可选地，在接收分布式传输的多个数据克隆任务之后，所述数据存储方法还包括：在接收客户端传输的数据克隆任务后，验证数据克隆任务的权限是否在任务权限内，且验证数据克隆任务是否在任务有效期内；若确定数据克隆任务的权限在任务权限内，且数据克隆任务在任务有效期内，则将所述数据克隆任务的任务信息存入预设数据库；检测各个对象存储网关的执行状态，其中，所述对象存储网关通过抢占方式领取任务，所述执行状态包括下述之一：空闲状态、执行任务状态、无法使用状态；调用空闲状态的对象存储网关读取所述任务信息，并基于所述任务信息执行所述数据克隆任务。