[发明专利]一种基于混合存储设备的虚拟混合文件系统

说明书

技术领域

本发明属于计算机存储技术领域，更具体地，涉及一种基于混合存储设备的虚拟混合文件系统。

背景技术

随着计算机存储技术的不断发展，新型存储介质不断涌现并被加入到存储系统中。这些新型存储介质普遍具有非易失性、存储密度高、功耗低、抗辐射等优点，且读写性能接近DRAM(Dynamic Random Access Memory，即动态随机存取存储器)。由于新型存储介质具有不同于传统磁盘的性能特点，传统基于磁盘的文件系统不在适用于新型存储介质，国内外众多研究人员分别针对新型存储介质设计开发了相应的文件系统，然而这些文件系统本身也有一定的局限性和适用范围。比如，容量较小，价格相对比较昂贵，适合存储访问频繁的小文件等。

目前，随着大数据的不断发展，海量数据对当前的文件系统提出了巨大的挑战。从应用层面看，当前的数据规模大，种类繁多，数据访问模式特点复杂，单一的文件系统无法快速完成海量数据的存储和快速处理以及分析。部署多种存储介质和性能特点各异的文件系统，使用传统分层的存储架构来存储相应的数据可以很好的解决这个问题，然而由于各个文件系统的相对独立性，使得不断变化的数据无法很好的在性能特点各异的文件系统之间流动迁移，进而导致了低效的数据组织和调度。例如，始终将数据存放在基于新型存储介质的文件系统中，使得该文件系统空间被很快耗尽，存储访问频繁的数据在基于传统磁盘的文件系统中增加了数据的访问延迟等。

由此可见，现有技术存在不同类型和特点的数据在文件系统间的布局和调度不合理，文件系统的空间利用率低和存储系统的访问性能差的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于混合存储设备的虚拟混合文件系统，由此解决现有技术存在不同类型和特点的数据在文件系统间的布局和调度不合理，文件系统的空间利用率低和存储系统的访问性能差的技术问题。

为实现上述目的，本发明提供了一种基于混合存储设备的虚拟混合文件系统，所述虚拟混合文件系统包括基于可字节寻址的随机访问存储器的文件系统和基于块设备的文件系统，混合存储设备包括可字节寻址的随机访问存储器和块设备，所述块设备为磁盘或者基于闪存的固态硬盘；

所述可字节寻址的随机访问存储器连接在内存总线，使用内存地址访问，与内存统一编址；可字节寻址的随机访问存储器挂载基于可字节寻址的随机访问存储器的文件系统；所述块设备连接在I/O总线上；块设备挂载基于块设备的文件系统；虚拟混合文件系统的地址空间用连续的块号表示，在逻辑上顺序的连接在一起，并使用统一的逻辑地址访问。

进一步的，虚拟混合文件系统根据写数据大小将写数据分为小文件和大文件，将小文件存储在基于可字节寻址的随机访问存储器的文件系统中，将大文件加入写队列，然后以log方式写入基于块设备的文件系统。

进一步的，虚拟混合文件系统根据读请求，从基于可字节寻址的随机访问存储器的文件系统中取出小文件或者从基于块设备的文件系统中取出大文件。

进一步的，基于可字节寻址的随机访问存储器的文件系统用于记录块设备中大文件访问次数，根据块设备中大文件访问次数得到块设备中的热数据，并将块设备中的热数据迁移到基于可字节寻址的随机访问存储器的文件系统中，然后释放在基于块设备的文件系统中热数据占用的存储空间。

进一步的，基于可字节寻址的随机访问存储器的文件系统的存储空间小于阈值时，迁移基于可字节寻址的随机访问存储器的文件系统中最近最久未访问的数据到基于块设备的文件系统中。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明优化不同类型和特点的数据在文件系统间的布局和调度。将小文件存储在基于可字节寻址的随机访问存储的文件系统中，提高了元数据的访问性能；同时，将大文件存储在基于块设备的文件系统中，提高了整个混合存储系统的空间利用率。

(2)本发明的虚拟混合文件系统的地址空间用连续的块号表示，在逻辑上将各存储系统的地址空间顺序的连接在一起，并使用统一的逻辑地址访问，有效的兼容了现有的存储系统，同时使得不断变化的数据可以灵活的在性能各异的文件系统之间进行准确的调度迁移。

(3)本发明的虚拟混合文件系统实现了不同存储系统的异构，有效的屏蔽了底层性能各异的存储系统的实现细节，实现了多种混合存储系统的统一访问。

(4)本发明的虚拟混合文件系统，根据不同存储系统的特点，有针对性的进行数据存储，在各个存储系统之间能进行有效的负载均衡，有效的避免了存储瓶颈，实现整个存储系统性能的提升。