[发明专利]一种存储对象的处理方法、装置、终端及存储介质

说明书

本申请适用于对象存储技术领域，提供一种存储对象的处理方法、装置、终端及存储介质，其中方法包括：获取大对象队列中各个大对象的对象名，基于所述对象名，依序对所述大对象队列中大对象的元数据进行访问，并从第一大对象的所述元数据中获取第一起始时间及第一末尾时间；获取设定文件过期时间与所述第一起始时间及所述第一末尾时间之间的大小关系；基于所述大小关系，判断所述第一大对象存储的小对象中是否存在过期小对象及判断与所述第一大对象的编号具有时序排列关系的第二大对象中是否存在过期小对象，得到判断结果；判断结果用于指示是否执行过期文件清除操作。该方案能够提升数据处理效率，确保分布式存储集群的数据处理性能。

技术领域

本申请属于对象存储技术领域，尤其涉及一种存储对象的处理方法、装置、终端及存储介质。

背景技术

近年来，分布式存储的诞生使得云存储技术得到广泛应用。其中应用到对象存储，具体需要通过对象存储网关上传的数据以对象的形式存储在分布式存储集群中。为了节约存储成本，对象存储网关的生命周期流程提供一种自动化删除过期对象的方式，使得存储集群能够定期释放存储空间，满足持续写入的要求。

但随着数据规模的扩大，海量小文件形成的需要存储的小对象将造成分布式存储性能下降。为解决海量小对象存储，业界往往采取小对象合并的方式，将多个小对象合并成一个大对象进行存储，使得小对象的元数据量大大减少，同时减少频繁的磁盘输入输出，从而提高整体存储的性能。

随着小对象合并的进行，在对数以万计的小对象进行过期判断及删除时，需要分别对大对象中的各个小对象进行列举遍历，实现对小对象进行有效性判断，将过期存储对象进行有效剔除。但该过程中，对海量小对象逐一进行过期判断，导致数据处理效率低下，也会伴随大量的无用列举，极大降低分布式存储集群的数据处理性能。

发明内容

本申请实施例提供了一种存储对象的处理方法、装置、终端及存储介质，以解决现有技术中对海量小对象逐一进行过期判断，导致数据处理效率低下，也会伴随大量的无用列举，极大降低分布式存储集群的数据处理性能的问题。

本申请实施例的第一方面提供了一种存储对象的处理方法，包括：

获取大对象队列中各个大对象的对象名，所述对象名对应于大对象的编号，各个所述大对象之间的编号依照时序排列；

基于所述对象名，依序对所述大对象队列中大对象的元数据进行访问，并从第一大对象的所述元数据中获取第一起始时间及第一末尾时间；其中，每一所述大对象的所述元数据中均包括起始时间及末尾时间，所述起始时间对应于首个小对象的写入时间，所述末尾时间对应于末个小对象的写入时间；

获取设定文件过期时间与所述第一起始时间及所述第一末尾时间之间的大小关系；

基于所述大小关系，判断所述第一大对象存储的小对象中是否存在过期小对象及判断与所述第一大对象的编号具有时序排列关系的第二大对象中是否存在过期小对象，得到判断结果；所述判断结果用于指示是否执行过期文件清除操作。

本申请实施例的第二方面提供了一种存储对象的处理装置，包括：

第一获取模块，用于获取大对象队列中各个大对象的对象名，所述对象名对应于大对象的编号，各个所述大对象之间的编号依照时序排列；

第二获取模块，用于基于所述对象名，依序对所述大对象队列中大对象的元数据进行访问，并从第一大对象的所述元数据中获取第一起始时间及第一末尾时间；其中，每一所述大对象的所述元数据中均包括起始时间及末尾时间，所述起始时间对应于首个小对象的写入时间，所述末尾时间对应于末个小对象的写入时间；

第二获取模块，用于获取设定文件过期时间与所述第一起始时间及所述第一末尾时间之间的大小关系；