[发明专利]一种分布式文件系统分级元数据缓存控制方法

说明书

技术领域

本发明属于计算机存储技术领域，具体涉及一种分布式文件系统分级元数据缓存控制方法。

背景技术

元数据是文件系统中最为重要的特征信息，常被称为“数据的数据”，分布式文件系统一般采取元数据服务器、数据服务器以及客户端的三方架构，从而将元数据和数据进行分离，实现高速的数据访问。其中优化元数据访问是提高并行文件系统性能的关键因素之一，因此在客户端建立元数据缓存可以有效减少访问元数据服务器带来的大量网络通信开销。

对于分布式文件系统，元数据管理是管理数据的关键。首先，元数据是最重要的系统数据。应用程序在访问一个文件的数据之前，首先需要定位数据的存储位置。在并行文件系统中用户在访问一个文件时，首先需要向元数据服务器发出请求，然后元数据服务器会将该文件的元数据信息返回给用户。用户在元数据信息中获得文件所在的数据服务器布局信息，从而可以和这些数据服务器建立连接。因此从系统稳定性和可靠性的角度而言，文件元数据的正确性和可靠性是至关重要的。其次，元数据文件的访问速度影响着整个文件系统的访问性能。在并行文件系统中，对元数据的访问时非常频繁的。用户对文件的任何操作都需要事先访问文件的元数据。

在客户端进行元数据缓存是提高元数据访问速度的重要方法。然而在并行文件系统中实现多个客户端之间元数据缓存的一致性是至关重要的。很多现有并行文件系统的缓存策略都是为了性能考虑牺牲了元数据的一致性，是弱一致性的缓存策略。为此，本发明提出了一种分布式文件系统分级元数据缓存策略，在保证缓存一致性的前提下，提高元数据服务的性能。

发明内容

本发明提出一种分布式文件系统分级元数据缓存方法，在元数据服务器端对客户端目录访问行为进行分析，根据反馈算法将缓存方案分别设置为全缓存方案、自适应租约缓存方案或者不缓存方案。本发明减少了高共享时回调的高昂代价，并同时提高了整个系统的元数据一致性和可靠性。

本发明的一种分布式文件系统分级元数据缓存控制方法，具体包括下述步骤：

(1)元数据服务器端从客户端接收目录访问请求，并进行统计分析；

(1.1)元数据服务器端使用红黑树来记录元数据，各个挂载点为红黑树的一个节点，每个节点使用hash冲突链来记录对应的元数据条目信息结构；其中元数据条目信息中针对各个客户端的访问行为维护了一个统计列表；

(1.2)当客户端发出针对某个目录进行访问的请求时，元数据服务器会查找到相应的元数据条目信息，根据其统计列表进行分析，从而制定相应的缓存策略；所述统计分析的结果分为客户端无共享、客户端低共享和客户端高共享，其中，

客户端无共享指不同的客户端在各自的工作目录下独享，既可能发生读，也可能发生写，互不干涉；或者不同的客户端在相同的目录下共享，95％(可以按照不同的实际应用进行预定义，下同)以上的访问都是以读的形式共享、创建或更新出现比例在5％以下；

客户端低共享指不同的客户端在相同的目录下共享，有5％到20％的元数据创建或更新请求，80％到95％以读的形式共享；

客户端高共享指不同的客户端在相同的目录下共享，有超过20％的元数据创建或更新请求，同时存在读共享。

(2)根据第(1)步统计分析的初步结果进行判定，确定相应元数据分级缓存策略：

(2.1)全缓存方案。由元数据服务器(MDS)端确定授予读缓存还是写缓存。相应的客户端可以一直持有该缓存直到其他客户端需要在同目录下面创建时才进行缓存的更新并刷回至服务器；

(2.3)自适应租约缓存方案。租约缓存是指获得租约的客户端可以在规定的期间内独享该缓存，其他客户端不得访问，步骤如下：

(2.3.1)客户端查到到对应的元数据缓存，对比元数据缓存上的租约到期时间戳和系统时间：

如果未到期且剩余50％以上的租约时间，则判定此缓存有效，完成元数据访问；

如果未到期且剩余50％以下的租约时间，则虽然此缓存有效，但是需要续约，增加其续约次数，续约时间长度为基础时间乘以该缓存的续约次数，其中客户端使用一个域lease_count来标识对某一缓存的续约次数；

如果已经过期，说明此缓存长期未被访问，将lease_count重置为1，即重置为新访问请求租约的情况；

(2.3.2)如果缓存可使用，则直接返回，如果需要续约则发送续约请求至元数据服务器；

(2.3.3)不缓存方案；

(3)根据具体的缓存方案进行反馈再判断，步骤如下：