[发明专利]针对分布式文件系统的元数据预取系统及方法

说明书

本发明提供了一种针对分布式文件系统的元数据预取系统及方法，包括功能层级框架，功能层级框架还包括客户端层面和元数据服务器层面；客户端层面包括客户端缓存层，客户端缓存层提取、更新和同步文件相关特征，提供对文件相关特征操作的支持；元数据服务器层面包括元数据服务器缓存层，元数据服务器缓存层负责存储和同步文件相关特征，执行文件元数据操作。本发明提取文件相关特征，借助提取的特征进行元数据预取，缩小预取范围、提高预取准确率；通过预取方法提前将其关联文件的元数据预取到客户端，缩短关联文件的元数据存取流程，减少系统中元数据请求的数目，大幅提升分布式文件系统中元数据的存取性能，实现分布式文件系统整体性能提升。

技术领域

本发明涉及元数据预取的技术领域，具体地，涉及一种针对分布式文件系统的元数据预取系统及方法。

背景技术

分布式文件系统是一种具备高可靠性和高扩展性的共享式文件存储系统，并且能够提供完善的并发访问机制，所以分布式文件系统得到了越来越广泛的关注。对于当下流行的大多数分布式文件系统来说，文件系统的元数据操作通常会占据文件系统大半的工作负载，因此高效的元数据管理和快速的元数据访问操作显得至关重要。

在分布式文件系统中，元数据的访问量可以占到总访问量的一半以上，同时元数据规模日益庞大，元数据本身的访问性能逐渐成为制约元数据I/O性能提升的瓶颈。通过提高元数据访问操作性能从而带来系统性能的提升，可以有效缓解性能问题。为了提高元数据访问操作的性能，可以通过元数据预取、元数据缓存的优化来提高元数据的命中率，减少元数据访问的延迟。这些预取方法虽然在很大的程度上缓解了分布式文件系统对元数据操作频繁的问题，但也存在着元数据的命中率较低，从而导致预取范围过大、预取准确度较低等问题。

由于分布式文件系统具有的这种频繁操作文件元数据的特性，因此也出现了不少围绕文件元数据预取展开的研究。在现今流行的元数据预取方法中，很大一部分方法主要基于文件的存取关联性，采用离线的方式在文件系统历史访问记录中寻找关联性信息，并将经常同时访问的文件集合用于后续预取。而这种基于文件存取关联性的预取方法具有很强的局限性，难以根据系统负载的实时特征变化去动态调整文件关联关系，因此如何挖掘文件数据间潜在的关联关系以及如何准确地预测用户访问的后继文件成为了至关重要的问题。

近年来，有不少针对元数据预取和缓存的研究。DiskSeen通过对磁盘访问的时间和空间关系进行分析，将文件的读取与预取当作两个窗口，利用读取窗口指导预取窗口进行数据预取。QuickMine借助这种思想，引入事务查询应用程序级的上下文信息来预测未来的访问序列。Nexus是一种基于加权图的分组方法，构造了一种元数据关系图，用图的顶点表示文件和目录，使用图的加权边来表示顶点之间的局部性强度，通过元数据服务器对图形进行维护，动态地插入或删除边并调整相关的权值，实现对元数据的预取。SmartStore根据元数据的语义将文件组织成相关组，为复杂查询提供低延迟。CFFS将文件与其元数据之间一对一映射关系改变为多对一映射，整合文件目录、文件内在关联以及文件存取频率来发掘相关性，进行元数据预取。SEER记录每个文件在几个最近的相关文件之间的语义距离，并使用共享邻居的数量计算文件间的相关性。基于组的文件缓存管理方法，将文件与其具有子孙关系的文件进行分组，使用加权概率图描述文件之间的关系。C-Miner是一种有效的文件系统块相关查找算法，利用数据挖掘技术来挖掘频繁的块访问序列，在存储服务器上查找块的相关性，并利用发现的序列生成关联规则来指导块预取与布局优化。除了上述描述文件关系的方法外，还有一些针对使用树型结构记录文件关系和访问模式的方法的研究，这些方法通过访问树型结构来捕获用户进程文件间的依赖关系。整个树形结构从根节点到叶子节点间的路径构成了一组连续文件序列的访问路径，可以为访问模式不同的程序维护多个访问树，使用程序的当前访问活动匹配访问树，并用它来指导文件预取。这些方法中的大多数在一般文件系统中工作得很好，但在具有大量文件的分布式文件系统中效果不佳。