[发明专利]分布式文件系统及均衡元数据存储和访问负载的实现方法

摘要

本发明属于计算机技术领域，具体涉及一种分布式文件系统，以及在该系统上实现的元数据存储负载和访问负载的均衡方法；本发明通过设计分布式文件系统，并在该系统上实现了一种新的客户端元数据访问方法、元数据服务器之间元数据存储负载均衡方法、以及元数据访问负载均衡和高可用方法，使本发明可以实现在减轻元数据服务器访问负载的同时，保证元数据存储负载和访问负载在元数据服务器之间平衡。

主权项

一种分布式文件系统，其特征在于，由客户端，元数据服务器和存储服务器三部分组成；所述的客户端包括客户端元数据缓存模块和客户端元数据访问模块；所述的元数据服务器分配有元数据目录树形式的元数据，元数据服务器维护一棵或多棵元数据目录子树，并记录：本地元数据存储负载Mcount；所有元数据服务器的总元数据存储负载TMcount；路径和元数据服务器映射表PMT；元数据服务器维护的每棵元数据目录子树对应元数据目录树中的一个目录节点，即元数据目录子树根节点，有其对应的路径；定义分布式文件系统根目录的子目录为一级目录，每个元数据服务器维护一棵或多棵分布式文件系统元数据目录子树，每棵子树中的目录节点维护一个本目录下的元数据计数，记号为i的元数据服务器维护一个自身的元数据计数总值Mcount_i，元数据总计数TMcount表示所有元数据服务器上元数据计数的总和，N表示元数据服务器数量，实现元数据服务器之间元数据存储负载均衡的运行方法包括以下四个步骤：存储负载均衡初始化、初始阈值、目录子树迁移和目录子树合并；所述的存储负载均衡初始化具体为：在分布式文件系统初始创建启用时，将新创建的一级目录逐个存放到各个元数据服务器上；元数据目录树中，一级目录下所有目录和文件的元数据，与该一级目录元数据存储在同一个元数据服务器上，使元数据均匀分布到各个元数据服务器上；所述的初始阈值具体为：设定初始阈值INP，当元数据服务器上存储的元数据计数小于初始阈值INP时，元数据服务器不对外进行元数据迁移；所述的目录子树迁移的总体原则是将元数据服务器存储负载较大的节点迁移到负载较小的节点，具体为包括以下步骤：步骤20：设置一个在0和1之间的负载系数α，设置具有δ＞δ’＞0关系的两个负载增量值δ和δ’；步骤21：对比记号为i的元数据服务器维护一个自身的元数据计数总值Mcount_i与初始阈值INP之间的大小关系，如果：Mcount_i＞INP：进入步骤22；Mcount_i＝INP：进入步骤26；Mcount_i＜INP：进入步骤26；步骤22：按照如下公式计算迁移触发阈值MP：MP＝min((1+α)×Tmcount/N，Tmcount/N+δ)步骤23：对比记号为i的元数据服务器维护一个自身的元数据计数总值Mcount_i与迁移触发阈值MP之间的大小关系，如果：Mcount_i＞MP：进入步骤24；Mcount_i＝MP：进入步骤26；Mcount_i＜MP：进入步骤26；步骤24：选择(0，Mcount_i‑Tmcount/N+δ’)区间内元数据计数位最接近Mcount_i‑Tmcount/N的目录Dir；步骤25：在元数据服务器中选择存储负载最小的元数据服务器，触发迁移以Dir为根节点的子树；步骤26：结束目录子树迁移；所述的目录子树合并具体包括以下步骤：步骤30：遍历元数据服务器上的所有子树对；步骤31：判断每个子树对是否可以合并，如果：是：进行合并后，进入步骤32；否：直接进入步骤32；步骤32：判断一次遍历过程中是否存在可以合并的子树对，如果：是：进入步骤30；否：进入步骤33；步骤33：结束整个合并过程。