[发明专利]用于机群文件系统的元数据存储系统和管理方法

说明书

技术领域

本发明涉及机群文件系统体系结构，尤其涉及机群文件系统中的元数 据存储及相关的数据迁移机制。

背景技术

随着信息技术的发展，人类产生、保存和处理的数据越来越多。文件 的数量随着数据量的增加而明显增加，这给基于传统的动态随机存储器 (Dynamic Random Access Memory，DRAM)+硬盘驱动(Hard Disk Drive， HDD)存储架构的机群文件系统的元数据存储系统提出了严峻的挑战：

在存储规模方面，元数据的存储总量越来越大。机群文件系统中要保 存的文件数量越来越多，特别是随着互联网应用的高速发展，文件以多种 形式存在，如邮件、照片、视频、报表等。伴随着数据总量的增多，文件 总量也以每年近两倍的速度增长，这使得机群文件系统的元数据总量迅速 膨胀。在元数据操作性能方面，性能的需求也逐渐提高。高性能计算逐渐 由CPU密集型向I/O密集型转变，系统的I/O效率对性能有着重要的影响， 这也就要求存储系统有很高的元数据操作性能。此外互联网的高速发展也 对海量存储系统的元数据操作性能有更高的要求。

这些挑战使基于传统DRAM+HDD存储架构的元数据存储系统无法 满足需求。这是因为由于元数据总量较大，DRAM无法满足所有元数据请 求，一部分元数据I/O请求将发往HDD，而HDD巨大的I/O时延将成为 系统的性能瓶颈。

相对于HDD，固态硬盘SSD(Solid-state Drive)具有高带宽、低时延 的优势，但使用SSD存储元数据也面临很多问题。对于基于传统 DRAM+HDD存储架构的机群文件系统的元数据存储组织方式，一般采用 基于目录树存储或者将元数据保存在数据库中，这会造成元数据I/O模式 以小粒度随机I/O为主，这种I/O也并不适合于SSD。因为，SSD的性能 受到I/O模式的影响，SSD的顺序I/O性能好于随机I/O性能。其次，小 粒度随机写会减少SSD的使用寿命，且会造成SSD的碎片化，对后续I/O 操作造成不利影响。此外，SSD的价格比较昂贵，且单盘存储容量较小， 这些都会影响SSD的使用。而对那些基于NVRAM(Non-Volatile Radom  Access Memory，非易失性随机访问存储器)、PRAM(Phase-change RAM， 相变存储器材)之类新型存储介质的元数据存储组织结构，如将元数据单 独存储、压缩存储或者与小文件一起联合存储，由于上层是按字节寻址， 所以访问模式还是以小粒度随机I/O为主，这也并不适合SSD。

现有的针对特定负载所设计的SSD存储系统，根据SSD的I/O特性 做针对性的优化，例如通过写缓冲区将小粒度随机写转化成大粒度顺序 写，充分发挥SSD的性能并保证其使用寿命。但这类系统在设计实现上依 赖于负载特征，并根据这些特征做了很多简化。由于机群文件系统的元数 据存储系统有自己的性能需求和I/O负载特征，所以这些系统也不能直接 应用到元数据存储中。

现有的采用DRAM+SSD+HDD三层存储的存储系统，一般有三种设 计策略：SSD做HDD的缓冲、HDD作SSD的写缓冲和数据分别放置在 SSD和HDD上。对于第一和第三种策略，由于SSD会接受大量小粒度随 机I/O而造成快速磨损，所以SSD的使用寿命得不到保证。第二种将HDD 作为SSD写缓冲的策略，对于机群文件系统的元数据存储应用来说，主要 有两个问题：一是数据最终放到SSD上，当数据规模很大时，需要大量 SSD，这样增加了系统造价；二是HDD作为写缓冲，有可能有部分元数 据读请求会发往HDD，这样就大大提高元数据读请求时延，读操作是个 同步操作，读请求时延过大会影响这个系统的性能，因此，该第二种策略 也不能满足机群文件系统的元数据存储系统的需求。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供用于机群文 件系统中元数据存储系统和管理方法，在解决HDD引起的性能瓶颈的同 时，既充分发挥SSD的性能优势，又保证了SSD的使用寿命。

本发明的目的是通过以下技术方案实现的：

一方面，本发明提供了一种用于机群文件系统中的元数据存储系统， 该系统包括DRAM和SDD；