[发明专利]一种基于daos的文件系统元数据存储方法及设备

说明书

本申请公开了一种基于daos的文件系统元数据存储方法及设备，所述元数据存储方法包括：在创建父级目录时，设置目录分片，并配置对应的第一dkey用以记录所述目录分片的分片值；利用所述目录分片，存储所述目录下的子目录，和/或，子文件的元数据，并为所述子目录，和/或，所述子文件配置对应的akey和value，其中所述akey用以记录所述子目录，和/或，所述子文件的文件名称，所述value用于记录所述子目录，和/或，所述子文件的元数据。本申请实施例的元数据存储方法通过对元数据进行重新组织，提高了数据组织的均衡性，极大降低了与daos集群交互的次数。

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于daos的文件系统元数据存储方法及设备。

背景技术

当前基于Daos的文件系统有DFS，对于目录和目录下的子文件/子目录，其元数据组织形式如图1所示，假设父目录是dir1,其下包含子目录dir2、子文件file1、子文件file2：

其为每一个目录创建了一个daos对象，然后为该目录下的每个子目录/子文件创建一个dkey，在该dkey下，每个子目录/子文件的属性创建一个akey，其存在以下几点缺陷：

列举某个大目录下的元数据时，效率不高，当列举目录时，首先需要列举目录对象的dkey集合；然后遍历dkey集合，列举每个dkey下所有akey，再批量查询dkey下所有akey对应的value，对查询所得的value组织为子目录/子文件的元数据。

假设一个目录下有N个子目录/子文件，每个子目录/子文件平均有M个元数据属性，那么列举该目录时，需要与daos集群交互的次数为：N+1，当子文件/子目录数量较少时，影响不到，当子文件/子目录数量达到十万、百万时，查询时间将会很长。

当目录很大时，目录对象数据组织不均衡，Daos对象通过B+树的形式组织dkey，每个dkey又通过B+树组织akey，当目录下的子文件/子目录很大时，就会出现所有dkey对应的B+树很大，而每个dkey下所有akey对应的B+树确很小(通常元数据属性小于50项)，有种头重脚轻的感觉，每个dkey下所有akey对应的B+树没有得到充分利用。

发明内容

本申请实施例提供一种基于daos的文件系统元数据存储方法及设备，用以对元数据进行重新组织，提高数据组织的均衡性，极大降低与daos集群交互的次数。

本申请实施例提供一种基于daos的文件系统元数据存储方法，所述文件系统包括父级目录，所述父级目录下具有子目录，和/或，子文件，所述元数据存储方法包括：

在创建父级目录时，设置目录分片，并配置一个对应的第一dkey用以记录所述目录分片的分片值；

利用所述目录分片，存储所述目录下的子目录，和/或，子文件的元数据，并为所述子目录，和/或，所述子文件配置对应的akey和value，其中所述akey用以记录所述子目录，和/或，所述子文件的文件名称，所述value用于记录所述子目录，和/或，所述子文件的元数据。

可选的，在所述目录分片下的子目录，和/或，子文件的数量达到第一预设阈值的情况下，拆分所述目录分片，形成子目录分片；

在拆分的子目录分片下的子文件，和/或，子目录的数量和低于第二预设阈值的情况下，合并子目录分片。

可选的，在拆分所述目录分片的情况下，重新计算所述子目录，和/或，所述子文件的hash值，并将部分所述子目录，和/或，所述子文件的元数据迁移至子目录分片。

可选的，还包括配置第二dkey，用于存储所述父级目录的分片信息。

可选的，所述value具体用于记录所述子目录，和/或，所述子文件的多种属性汇总成的一个元数据。