[发明专利]一种机群文件系统的内存元数据管理方法

说明书

技术领域

本发明涉及存储系统体系结构技术领域，更具体地，本发明涉及一种机群文件系统的元数据的管理方法。

背景技术

计算机存储系统中所处理的数据包括两类：一类是用户使用的数据，即用户数据；另一类是存储系统用于管理用户数据的数据，即元数据。元数据访问的特点是I0量小，CPU利用率高，对网络延迟要求高。通常存储系统将两类数据的信息和控制流区分，分别定义用户数据和元数据处理的操作，并将对两类数据的管理分离到独立部件，其中处理元数据的部件称为元数据服务器。

元数据服务器根据系统构成可以划分为两类：一类是单元数据服务器，由一台元数据服务器为整个系统提供元数据服务，所有客户端的请求都发送到一台元数据服务器上并被执行；另一类是多元数据服务器，由多台元数据服务器为整个机群文件系统共同提供元数据服务，在这种元数据服务器系统中，元数据请求划分到其中一个元数据服务器进行处理。

元数据服务器的组织管理主要体现对元数据内存结构和元数据磁盘结构的组织管理。元数据在未被使用前是存储在磁盘中的，当某一元数据需要被访问时，其存储在磁盘中的结构被读出并生成与磁盘结构相对应的内存结构。由于磁盘的访问时间长，对元数据操作影响较大，所以元数据在磁盘的存储结构会以降低磁盘访问频率和提高磁盘访问效率为目的进行组织管理。元数据内存结构受内存大小的影响，该结构以元数据磁盘结构的缓存的形式进行组织，采用LRU的方式对元数据内存结构进行替换管理。

在机群文件系统领域，元数据管理的重要性得到越来越多的关注，现有的元数据管理方法主要包括下面所述的三种。

1、本地文件系统的元数据组织管理方法

本地文件系统元数据缓存相对较小，磁盘访问占元数据操作开销的大部分，所以文件系统的元数据组织管理方法利用磁盘访问局部性为目标，重点在元数据的磁盘结构组织，元数据的内存结构只是其磁盘结构在缓存中的映像。通常本地文件系统的元数据目录项(dent ry)存储在目录文件中，每个目录文件都有目录索引结构以加速查找目录项。元数据索引节点(i node)以表的形式组织存储。这种元数据组织管理方法能快速定位索引节点且能快速查找目录，但两类元数据的分离使得磁盘访问量增加，写回元数据开销较大。此外，该方法只将内存以缓存形式利用，元数据在缓存中的离散组织使得元数据写回更新会涉及较多的磁盘写回操作，增大磁盘写回开销。

2、机群文件系统的元数据组织管理方法

机群文件系统一般具有独立的元数据服务器提供元数据处理服务。相对本地文件系统而言，机群文件系统具有较大的内存来缓存元数据。在机群文件系统中，内存中的一部分被专门分配出来用于缓存经常访问的元数据(父目录索引节点)，这部分元数据内存结构一般分配后便驻留内存，直到其目录内的元数据不再访问才予以释放。对于其它类型的元数据，仍以缓存替换的方式来管理元数据内存结构。元数据磁盘结构仍以优化磁盘访问为目的进行组织。这类方法针对访问频率高的元数据采用驻留其内存结构的方式能够提高访问效率，减少磁盘访问，但其它类型的元数据内存结构仍以元数据磁盘结构缓存的形式来使用，不能充分利用内存的快速访问特性。

3、Google文件系统的元数据组织管理方法

Google文件系统采用将元数据全部驻留内存的方式来提高元数据的处理能力。将元数据全部驻留在内存可以避免元数据访问过程的磁盘访问开销，提高元数据处理能力。然而Google文件系统是一种专用的文件系统，不适用于通用处理。Google文件系统没有目录结构，元数据服务器以管理路径名查找表的方式来维护名字空间。名字空间中的每个元数据在查找表中占据一个表项。在对元数据操作时，按照元数据路径名在查找表中定位元数据。利用表的方式只适用于管理规模较小(千万文件)的文件系统，不适用于多服务器的扩展，而且表的线性数据结构不支持并发的添加删除操作。由于缺少目录结构的元数据管理不能有效支持POSIX语义，不具有通用性。

发明内容

为克服现有元数据管理中机群文件处理方法效率低、通用性差的缺陷，本发明提出一种机群文件系统的元数据的管理方法。

根据本发明的一个方面，提出了一种机群文件系统的元数据的管理方法，所述文件系统划分为多个元数据分区，所述多个元数据分区在多个元数据服务器上分别加载，每个所述元数据分区划分为多个维护元数据单元信息的元数据块，所述方法包括：

步骤10)、客户端解析所产生的元数据请求，获取所述元数据所属的元数据分区，向所述元数据分区对应的元数据服务器发出请求；