[发明专利]一种小文件存储方法、装置、设备及介质

说明书

本申请公开了一种小文件存储方法、装置、设备及介质，包括：利用小文件对应的桶名和文件名生成对应的文件标识；利用所述文件标识将不同的所述小文件对应的聚合信息添加至不同的元数据表；其中，所述聚合信息包括所述文件标识以及对应的大文件的名称、所述小文件在对应的所述大文件中的偏移位置，并且，所述大文件为所述小文件对应的聚合文件；当获取到用户终端发送的针对所述小文件的读请求，则查找对应的所述元数据表，以及从查找到的所述元数据表中查询对应的所述聚合信息，然后利用所述聚合信息读取对应的所述大文件中的所述小文件的数据。这样，能够提升从元数据表中查询对应的聚合信息的速率，从而提升小文件的读取速率。

技术领域

本申请涉及存储技术领域，特别涉及一种小文件存储方法、装置、设备及介质。

背景技术

机械硬盘在存储系统中大量采用，而机械硬盘在读写过程中会有寻道时间，因此，对于一些小文件存储需求较多的用户场景，小文件的读写效率很低，速度仅为几MB/S，成为小文件存储效率的瓶颈。所以，针对小文件的应用场景，业界提出了小文件聚合方案，把小文件先放入内存或SSD(Solid State Disk，固态硬盘)硬盘等高速介质中，然后把小文件聚合成一个大文件，然后下刷到机械硬盘中，这样会减少机械硬盘对小文件的IO瓶颈，大大增加系统对小文件的处理速度。

目前，在分布式对象存储中，通常的文件读取过程为将读取请求中的桶名和文件名组成一个对象名名称，发给底层rados存储集群，获取数据。因此，在把小文件聚合成一个大文件的场景下，通常需要中间添加一个大文件的查找过程，通过桶名和文件名以及元数据目录来查找聚合后的大文件，然后从查找到的大文件中读出小文件数据并返回。这样，会存在一个问题，对于分布式海量存储来说，一个桶内可能存在上千万个对象，甚至上亿个对象，这会导致大文件的查找过程十分漫长，成为小文件的读性能的瓶颈。

发明内容

有鉴于此，本申请的目的在于提供一种小文件存储方法、装置、设备及介质，能够提升小文件的读取速率。其具体方案如下：

第一方面，本申请公开了一种小文件存储方法，包括：

利用小文件对应的桶名和文件名生成对应的文件标识；

利用所述文件标识将不同的所述小文件对应的聚合信息添加至不同的元数据表；其中，所述聚合信息包括所述文件标识以及对应的大文件的名称、所述小文件在对应的所述大文件中的偏移位置，并且，所述大文件为所述小文件对应的聚合文件；

当获取到用户终端发送的针对所述小文件的读请求，则查找对应的所述元数据表，以及从查找到的所述元数据表中查询对应的所述聚合信息，然后利用所述聚合信息读取对应的所述大文件中的所述小文件的数据。

可选的，所述利用所述文件标识将不同的所述小文件对应的聚合信息添加至不同的元数据表，包括：

针对任一所述小文件对应的聚合信息，查找是否存在数据表名与所述文件标识对应的所述元数据表；

若存在，则将当前小文件对应的聚合信息添加至对应的所述元数据表；

若不存在，则将当前小文件对应的聚合信息添加至空的所述元数据表，并利用所述文件标识生成该元数据表的数据表名。

可选的，所述将当前小文件对应的聚合信息添加至空的所述元数据表，包括：

将当前小文件对应的聚合信息添加至预先创建的空的所述元数据表；

或，实时创建空的所述元数据表，然后将当前小文件对应的聚合信息添加至该元数据表。

可选的，所述利用小文件对应的桶名和文件名生成对应的文件标识，包括：

将小文件对应的桶名和文件名生成对应的字符串；

对所述字符串进行哈希运算，得到对应的所述文件标识。