[发明专利]分布式文件系统小文件性能提升方法、目录生成器及系统

说明书

技术领域

本发明涉及分布式文件系统中小文件IO性能提升技术领域，尤其涉及一种分布式文件系统小文件性能提升方法，还涉及一种分布式文件系统目录生成器，还涉及一种分布式文件系统。

背景技术

在分布式文件系统实际应用中，会遇到在海量小文件的应用场景。元数据集群可以提升大量小文件的元数据性能，数据缓存、小文件数据合并等方法可以提高数据性能。但是有一种应用场景存在性能瓶颈：单目录下小文件性能。单目录下小文件性能由元数据性能和数据性能两部分。数据性能可通过数据缓存机制、小文件数据合并等机制保证，但是元数据性能受到单个元数据服务瓶颈影响，无法通过缓存机制进行提升。除非是提升元数据服务性能，而分布式文件系统元数据性能受到分布式架构影响，能力有限。

因此，对于本领域技术人员而言，如何在分布式文件系统中，提升小文件性能为亟需解决的技术问题。

发明内容

为了便于理解，对本申请文件中出现的部分词语，澄清如下：

IO：input/output，输入/输出。

基于背景技术存在的技术问题，本发明提出了一种分布式文件系统小文件性能提升方法，包括以下步骤：

目录下，创建虚拟目录层，虚拟目录层包括多个虚拟目录；

将上述目录下任一小文件对应于一个虚拟目录；

将一个或多个元数据服务对应于一个虚拟目录。

优选地，包括以下步骤：将单个虚拟目录对应的元数据服务形成元数据集群子树分区。

优选地，包括以下步骤：元数据服务操作中对虚拟目录进行过滤处理。

优选地，包括以下步骤：根据单个虚拟目录所对应小文件数量调整该虚拟目录所对应的元数据服务数量，且上述元数据服务数量与上述小文件数量呈正相关关系。

优选地，创建虚拟目录层过程前，包括以下步骤：根据小文件IO性能要求，确定需要创建虚拟目录层的目录。

本发明中提供的一种分布式文件系统小文件性能提升方法，当某一目录下所存储的小文件具有IO性能要求时，在该目录下创建多个虚拟目录形成虚拟目录层，并将小文件分配至虚拟目录下形成对应关系，将一个或多个元数据服务形成元数据集群子树分区，将元数据服务集群子树分区分配至虚拟目录形成对应关系；从而使得该目录下的小文件通过元数据集群子树分区来保证IO性能；上述方法至少具有以下优点：

1、通过虚拟目录将单目录下的小文件IO性能通过多个元数据服务来保证；

2、利用分布式文件支持元数据集群的特点，将单目录、单元数据服务IO模型改为单目录、多元数据服务IO模型，利用元数据集群并发性能，使得单目录小文件IO性能由元数据集群子树分区来保证，提升小文件性能。

本发明还提供了一种分布式文件系统目录生成器，包括：

虚拟目录创建模块，用于在目录下创建虚拟目录层，虚拟目录层包括多个虚拟目录；

小文件配置模块，用于将上述目录下任一小文件与虚拟目录层中一个虚拟目录对应；

元数据服务配置模块，用于将一个或多个元数据服务与虚拟目录层中一个虚拟目录对应。

优选地，元数据服务配置模块还用于将同一虚拟目录对应的元数据服务形成元数据集群子树分区。

优选地，还包括：过滤模块，用于元数据服务操作中对虚拟目录进行过滤处理。

本发明还提供了一种分布式文件系统，包括：目录层和小文件层；其中：

目录层中至少一个目录下设置有虚拟目录层，该虚拟目录层中具有多个虚拟目录，小文件层中对应该目录的任一小文件均与所述虚拟目录层中一个虚拟目录对应，所述虚拟目录层中任一虚拟目录均与一个所述元数据集群子树分区对应，所述元数据集群子树分区由一个或多个元数据服务形成。

上述分布式文件系统目录生成器和分布式文件系统的有益效果与分布式文件系统小文件性能提升方法中有益效果类似，此处不再赘述。

附图说明

图1为本发明提出的一种分布式文件系统小文件性能提升方法中一种实施例的流程示意图；

图2为本发明提出的一种分布式文件系统中一种实施例的系统拓扑图。

具体实施方式

如图1-2所示，图1为本发明提出的一种分布式文件系统小文件性能提升方法中一种实施例的流程示意图；图2为本发明提出的一种分布式文件系统中一种实施例的系统拓扑图。

下面结合附图和实施例对本发明进行详细的描述。

参考图1，一种分布式文件系统小文件性能提升方法，包括以下步骤：