[发明专利]面向高性能计算的分布式文件系统元数据管理方法

说明书

技术领域

本发明涉及分布式文件系统体系结构领域，具体涉及一种面向高性能计算的分布式文件系统元数据管理方法。

背景技术

随着各种I/O密集型应用的需求和高速网络的发展，当今高性能计算机集群计算节点的规模已达上万个，性能亦已达PFlops。底层存储系统的规模不断增大，PB级甚至更大规模的系统不断出现。分布式文件系统中文件的数目可以达到上亿个，快速高效的处理成千上万个客户端对文件元数据的并发访问是一个亟需解决的问题。元数据服务器( Metadata Server, MDS)用来管理文件系统的元数据，在存储系统规模非常大时，一台MDS会成为整个系统的性能瓶颈，于是人们就把多台MDS连接在一起，构成元数据服务集群来提升文件系统的元数据处理能力。

在文件系统中，文件的元数据用以记录文件数据对象的存储位置和访问控制信息，目录是包含文件列表信息的文件，用以实现文件系统的目录层次和权限管理。目前MDS集群中的元数据分布方法，主要可以分为目录子树分割方法和散列方法两大类。

目录子树分割(Subtree Partitioning)方法是将文件系统的全局目录层次结构按照目录子树划分，每个MDS负责管理一个或多个目录子树，所有的MDS共同维护一个完整的文件系统目录层次结构。该方法设计简单，实现难度较小。其主要缺点是负载均衡能力较差。在大量客户端同时访问某个目录下的不同文件这种情况时，容易出现该目录子树成为“热点”的问题，从而导致负责该子树的MDS成为整个系统的瓶颈。

散列方法是将文件的某个特定标识（如文件名，文件路径名等）进行哈希计算，每个MDS负责一段哈希值范围内的文件元数据。该方法的优点是能够较好的将同一目录下不同文件的元数据均匀的映射到各个MDS上，具有良好的负载均衡性。其缺点是每个MDS需要保存大量的前缀目录元数据信息，减少了每个MDS用来保存文件元数据的可用内存容量，同时这些目录元数据信息的一致性维护需要一定的代价。同时，对一个目录的重命名操作和增减MDS将导致原先文件与MDS之间映射关系被破坏，可能需要迁移重命名目录下的各个文件和子目录的元数据。

综上所述，上述现有技术都存在或不能良好处理热点目录的访问问题，或不能有效解决目录的重命名问题和重迭保存前缀目录元数据信息带来的内存利用率和一致性维护问题，严重制约了分布式文件系统在高性能计算领域的应用。

发明内容

本发明要解决的技术问题是提供一种存储性能高、维护开销小、高负载无瓶颈、扩展性好、负载均衡、能够有效解决目录重命名带来的元数据迁移问题的面向高性能计算的分布式文件系统元数据管理方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种面向高性能计算的分布式文件系统元数据管理方法，其实施步骤如下：

1）建立用于管理目录元数据的目录元数据服务器集群、用于管理文件元数据的文件元数据服务器集群，建立用于为目录元数据服务器集群和文件元数据服务器集群提供对象接口数据存储服务的对象存储服务器集群；

2）在所有目录元数据服务器集群中建立布隆过滤器，所述目录元数据服务器集群中的目录元数据服务器之间共享布隆过滤器；

3）在客户端的操作请求到来时，若操作请求为目录操作请求时跳转执行步骤4）；若操作请求为文件操作请求时跳转执行步骤5）；

4）所述目录元数据服务器集群响应客户端的目录操作请求对目录元数据进行管理，为每个目录分配一个全局唯一标识符，根据布隆过滤器数组记录来判断负责目录请求的目录元数据服务器，并根据目录的完整路径名哈希访问对象存储服务器中存储的目录元数据；

5）所述文件元数据服务器集群响应客户端的文件操作请求对文件元数据进行管理，根据请求文件的文件名哈希来判断负责文件元数据的文件元数据服务器，并根据请求文件的父目录全局唯一标识符和文件名的哈希访问对象存储服务器中存储的文件元数据。

作为本发明上述技术方案的进一步改进：