[发明专利]一种清单文件的生成方法、装置、电子设备及介质

说明书

本发明实施例提供了一种清单文件的生成方法、装置、电子设备及介质，涉及云存储技术领域。该方法包括：扫描源存储空间中预设扫描范围内的文件的元数据信息，从扫描到的文件的元数据信息中，获取每个文件的预设清单字段对应的字段内容，将获取到的文件的预设清单字段对应的字段内容生成清单文件，然后将清单文件存储于目标存储空间。采用该方法可以提高获取清单文件的效率。

技术领域

本发明涉及云存储技术领域，特别是涉及一种清单文件的生成方法、装置、电子设备及介质。

背景技术

公有云对象存储是具有海量数据、可以无限扩容且存储成本低廉的分布式数据存储方式，基于超文本传输协议(Hypertext Transfer Protocol，HTTP)实现对公有云对象存储中的文件的读写，能够很好地实现跨平台数据分享。

目前大多数的大数据平台均支持将公有云对象存储作为数据来源，且通过公有云对象存储进行大数据备份。公有云对象存储中数以万计的文件数量，对使用者对文件的统计与分析带来了难度。目前使用者可以通过公有云的文件列表接口获取文件列表信息，然后再通过head接口逐个获取文件列表信息中每个文件的元数据，从而生成包括每个文件元数据信息的清单文件。因文件列表信息涉及的文件数量较多，逐个获取每个文件的元数据所需的时间较长，导致使用者获取清单文件的效率较低。

发明内容

本发明实施例的目的在于提供一种清单文件的生成方法、装置、电子设备及介质，以提高获取清单文件的效率。具体技术方案如下：

第一方面，本申请实施例提供一种清单文件的生成方法，所述方法应用于云服务器，所述方法包括：

扫描源存储空间中预设扫描范围内的文件的元数据信息；

从扫描到的文件的元数据信息中，获取每个文件的预设清单字段对应的字段内容；

将获取到的文件的预设清单字段对应的字段内容生成清单文件；

将所述清单文件存储于目标存储空间。

在一种可能的实现方式中，在所述将获取到的所有文件的预设清单字段对应的清单内容生成清单文件之后，所述方法还包括：

生成所述清单文件的描述文件，所述描述文件包括开始扫描所述源存储空间的时间戳、所述清单文件包括的字段、所述清单文件的文件名、所述清单文件的文件大小、所述清单文件的校验值、所述源存储空间的标识、所述目标存储空间的标识和清单版本中的任意一项或多项；

将所述清单文件的描述文件存储于所述目标存储空间。

在一种可能的实现方式中，在生成所述清单文件的描述文件之前，所述方法还包括：

根据扫描结束时刻的时间戳生成所述清单文件的文件名。

在一种可能的实现方式中，所述扫描源存储空间中预设扫描范围内的元数据信息，包括：

以预设扫描时间间隔为扫描周期，周期性扫描所述源存储空间中预设扫描范围内的元数据信息；

所述将获取到的文件的预设清单字段对应的字段内容生成清单文件，包括：

将在当前扫描周期内获取到的文件的预设清单字段对应的字段内容生成一个清单文件。

在一种可能的实现方式中，所述扫描源存储空间中预设扫描范围内的文件的元数据信息，包括：

若所述预设扫描范围为所述源存储空间，则扫描所述源存储空间中所有文件的元数据信息；

若所述预设扫描范围为所述源存储空间中指定前缀的文件，则扫描所述源存储空间中具有所述指定前缀的文件的元数据信息。

在一种可能的实现方式中，所述方法还包括：