[发明专利]图像文件处理装置和方法、文件存储系统及存储介质

说明书

本申请实施例公开了一种图像文件处理装置和方法、文件存储系统及存储介质，提高了对批量小图像文件的读写性能。装置包括：命名单元用于接收待存储的多个图像文件；数据处理单元用于对多个图像文件进行聚合，获得至少一个数据块；数据处理单元还用于以数据块为存储单元将至少一个数据块存储至存储设备中；数据处理单元还用于基于多个图像文件中每个图像文件所属的数据块以及命名单元确定的多个图像文件的对象标识和至少一个数据块的块标识，确定多个图像文件的元数据；元数据单元用于存储多个图像文件的元数据。

技术领域

本申请实施例涉及存储处理技术领域，尤其涉及一种图像文件处理装置和方法、文件存储系统及存储介质。

背景技术

随着存储技术的发展，分布式存储装置得了广泛的应用。例如，在人工神经网络算法中，需要借助大量数据进行模型的训练，即算法的成熟离不开大数据的支持。但是，已有的分布式存储装置，在面对大量小文件时，写入性能非常差，使得小文件写入比较费时。同时，在不使用高速介质做缓存的情况下，大量小文件的读取性能也比较差。

发明内容

本申请实施例提供一种对图像文件进行批量处理的技术方案。

第一方面，本申请实施例提供一种图像文件处理装置，所述图像文件处理装置分别与客户端设备与存储设备通信连接，所述图像文件处理装置包括：命名单元、元数据单元和数据处理单元；所述命名单元，用于接收所述客户端设备发送的待存储的多个图像文件，并确定所述多个图像文件中每个图像文件的对象标识；所述数据处理单元，用于对所述多个图像文件进行聚合，获得至少一个数据块，其中，所述数据块中包括所述多个图像文件中的至少两个所述图像文件；所述命名单元，还用于确定所述数据处理单元得到的所述至少一个数据块的块标识；所述数据处理单元，还用于以数据块为存储单元，将所述至少一个数据块存储至所述存储设备中；所述数据处理单元，还用于基于所述多个图像文件中每个图像文件所属的数据块以及所述命名单元确定的所述多个图像文件的对象标识和所述至少一个数据块的块标识，确定所述多个图像文件的元数据；所述元数据单元，用于存储所述多个图像文件的元数据。

在第一方面的一种可能的实现方式中，所述图像文件的元数据包括下列中的至少一项：所述图像文件的对象标识、所述图像文件所属数据块的块标识、所述图像文件在所述数据块中的位置信息和所述图像文件的数据长度。

在第一方面的另一种可能的实现方式中，所述装置还包括随机处理单元，用于对所述多个图像文件进行随机化排列；所述数据处理单元，用于对所述随机处理单元得到的随机化排列后的所述多个图像文件进行聚合，获得至少一个数据块。

在第一方面的另一种可能的实现方式中，所述多个图像文件属于至少一个训练数据集；所述数据处理单元，用于将属于同一训练数据集的至少一个数据块存储在相同的存储桶中。

在第一方面的另一种可能的实现方式中，所述装置还包括：收发单元，用于接收客户端设备发送的读请求，所述读请求中携带待读取文件的数量；所述数据处理单元，还用于根据所述待读取文件的数量，确定待读取数据块的目标数量P，并以数据块为读取单元，读取存储的所述P个数据块；所述收发单元，还用于向所述客户端设备发送所述数据处理单元读取的所述P个数据块。

在第一方面的另一种可能的实现方式中，所述数据处理单元，用于随机读取存储的所述P个数据块。

在第一方面的另一种可能的实现方式中，所述数据处理单元，用于从所述元数据单元中随机获取P个元数据，并根据所述P个元数据读取存储的所述P个数据块。

在第一方面的另一种可能的实现方式中，所述装置还包括：缓存单元，用于缓存多个数据块；所述数据处理单元，用于从所述缓存单元中读取存储的所述P个数据块。

在第一方面的另一种可能的实现方式中，所述缓存单元，还用于在所述数据处理单元从所述缓存单元中读取存储的所述P个数据块之前，从所述存储设备中读取多个数据块，并存储读取的所述多个数据块。