[发明专利]一种基于元数据日志的元数据缓存快速重建机制

说明书

技术领域

本发明涉及计算机存储领域，具体涉及集群存储中，元数据服务器的日志算法、缓存算法和故障恢复机制。

背景技术

随着网络应用的迅速发展，网络信息数据量越来越大，PB 级别的海量数据存储变得越来越重要。传统意义的文件系统已不能满足现有应用的大容量、高可靠性、高性能等要求，为满足这些新要求，分布式文件系统应用得到了广泛重视。现有分布式文件系统的研究主要分为元数据与实际数据存储分开管理，文件系统中元数据请求占据所有请求的50%以上，因此，元数据管理问题成为分布式文件系统研究中的一个重要研究方向。

元数据是文件系统中最为重要的特征信息,实现高速元数据访问是提高文件系统性能的有效途径。分布式文件系统中用户对数据对象的任何操作都需要事先访问元数据,对数据对象所做出的任何改动都必须记录在元数据中,可见用户对元数据的访问是非常频繁的。因此,提高元数据访问的速度,对提升文件系统的性能非常重要。

对于经常访问的数据，采用缓存技术可以提高文件系统的性能。元数据的访问频度非常高，而且可能是多次访问同一数据，缓存可以大大减少元数据管理系统内部交互的次数。目前主流的分布式文件系统的元数据服务器（mds）基本都具备了元数据缓存机制。

在传统的元数据服务器中，由于缓存是存储在元数据服务器的内存当中，因此，一旦元数据服务器掉电或者重启，缓存数据将会丢失。随后，在元数据服务器恢复工作后，内存中没有任何缓存数据，需要随着客户端请求的处理，逐步从元数据存储设备上加载元数据，进而实现元数据缓存场景的恢复。这种方式在元数据服务器刚启动过程中，会产生大量对于元数据存储器的数据访问请求，并且客户也需要等待这些数据访问请求完成后才能执行正常的元数据操作，因而影响了系统的整体效率。

发明内容

本发明针对现有技术存在的不足之处，综合利用元数据服务的日志技术 ,提供了一种元数据缓存的快速重建机制。

本发明公开了一种基于元数据日志的元数据缓存快速重建机制，其解决所述技术问题采用的技术方案如下：所述元数据缓存快速重建机制包括三大模块：元数据日志访问器、元数据存储器和元数据缓存，其中：

（1）元数据日志访问器负责元数据日志的访问，元数据日志以条目的形式进行读写，元数据日志访问器负责忽略底层具体的元数据日志的保存机制，向上提供一个基于条目的元数据日志读写接口。

（2）元数据存储器是实际存储元数据的设备，通常提供以元数据索引节点作为关键字的查找、创建、修改和删除操作。

（3）元数据缓存是元数据服务器内存中的一块区域，负责缓存元数据存储器中的一部分内容，该部分内容通常与目前正在处理或者刚刚完成处理的元数据请求具有密切的关系。

通过本发明所述基于元数据日志的元数据缓存快速重建机制，在元数据服务器的故障恢复过程中，能够利用先前记录的元数据操作日志，快速的将故障前的元数据缓存加载到内存中，重建故障前的元数据缓存信息。

本发明公开的基于元数据日志的元数据缓存快速重建机制的有益效果是：通过所述元数据缓存快速重建机制，在元数据服务器进行故障恢复的过程中，不需要将元数据日志中的内容回放到元数据存储器中，也不需要从元数据存储器中加载大量元数据信息到缓存中，因此，减少了元数据存储器的访问负载，加快了元数据故障恢复的速度，能够快速的重建元数据缓存，迅速的恢复到故障恢复前的缓存场景，且在元数据服务器完成故障恢复后，能够直接利用缓存中的数据继续处理元数据请求，提高了元数据的处理效率，提高了系统整体的工作效率。

附图说明

附图1为所述基于元数据日志的元数据缓存快速重建机制的示意图。

具体实施方式

下面结合附图，对本发明所公开的基于元数据日志的元数据缓存快速重建机制做进一步详细说明。

本发明提出的一种基于元数据日志的元数据缓存快速重建机制，在元数据服务器的故障过程中，利用先前记录的元数据操作日志，快速的将故障前的元数据缓存加载到内存中，重建故障前的元数据缓存信息。该元数据缓存快速重建机制主要包括元数据日志访问器、元数据存储器和元数据缓存三大模块；下面对这三大模块详细解释如下：

（1）元数据日志访问器：该模块负责元数据日志的访问，元数据日志以条目的形式进行读写，元数据日志访问器负责忽略底层具体的元数据日志的保存机制，向上提供一个基于条目的元数据日志读写接口；

（2）元数据存储器：实际存储元数据的设备，通常提供以元数据索引节点作为关键字的查找、创建、修改和删除操作；