[发明专利]一种将对象存储系统实现为本地文件系统的方法

说明书

本发明公开了一种将对象存储系统实现为本地文件系统的方法，采用文件系统元数据缓存算法和内存描述结构，减少了应用程序与swift存储系统后台的交互次数，提高了应用程序访问swift存储系统的性能；采用预分配内存池和延迟批量回收空闲内存块的策略，提高了遍历一个包含大量子目录和文件的目录时的效率；采用打开文件句柄内存描述结构，使得应用程序能高效的进行文件读写操作；采取预读策略，有效减少应用服务器和swift存储后端之间的网络交互次数，提供文件系统的读性能；采用零次拷贝，分块写入的策略，在写文件的过程中没有任何的数据拷贝和缓存，每次write系统调用都是一个完整的块写入操作，提高了文件写入的效率。

技术领域

本发明属于计算机存储技术领域，更具体地，涉及一种将对象存储系统实现为本地文件系统的方法。

背景技术

用户空间文件系统(Filesystem In Userspace，FUSE)是一种Unix/Linux操作系统提供的机制，这种机制使得非特权用户无需理解Unix/Linux内核的文件系统实现、无需编辑和编译内核的源代码就可以实现自己的文件系统。目前，FUSE已经被广泛用于编写开发各种文件系统，与传统的文件系统不同，FUSE并不一定真正地读写磁盘，它提供到已存在的文件系统或存储设备的转换，使得已存在的文件系统或存储设备上的数据以文件和目录的形式提供给用户或应用。

对象存储系统swift是开源云计算项目OpenStack的子项目之一。swift是一个无单点故障问题的分布式的对象存储系统，提供数据的高可用性和最终一致性，swift存储系统具有高的水平扩展性，无论是性能还是容量的扩展，都可以通过增加物理节点服务器来获得。swift存储系统提供http/https、REST API的对象访问接口，可用来高效、安全、廉价地存储大量的数据。

目前，借助FUSE文件系统框架将对象存储系统实现为本地文件系统已经有一些成熟稳定的实现案例，如s3fs、ExpanDriv，s3fs是一个基于FUSE的文件系统，后端由AmazonS3提供存储支撑，用户可以将Amazon S3的bucket挂载为本地的文件系统。ExpanDrive是一个针对Mac OS X和Microsoft Windows用FUSE实现的商业版本的网络文件系统客户端，它能将本地卷映射到FTP、Amazon S3、swift、WebDAV、Dropbox等存储服务器。Cloudfuse是一个借助FUSE将swift中一个Account实施为本地文件系统的开源实现。

然而，像s3fs、ExpanDrive和cloudfuse等这些基于FUSE实现的文件系统客户端，都是针对PC机上个人用户做了充分的考虑和优化，但是它们并不适合于作为应用服务器上的存储支撑。将诸如swift、Amazon S3等对象存储系统借助FUSE实现为本地文件系统，在处理对一个几百兆或GB级别的大文件进行读或写，或是对一个有几千上万个子目录的大目录进行遍历的应用场景时，文件系统表现出来的性能和该文件系统实现的算法是密切相关的。特别地，如果是该客户端的应用同时操作多个大文件和大目录，性能和稳定性问题就尤为突出。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种将对象存储系统实现为本地文件系统的方法，通过高效的文件元数据缓存算法、遍历目录时的内存使用算法、读文件的缓存算法、分块的文件写入算法等减少了内存使用量，提高了该文件系统的读和写性能，减少了FUSE文件系统和后端swift存储系统的网络交互，为将swift对象存储系统挂载到应用服务器本地作为本地文件系统访问提供了可行性。由此解决现有技术中应用同时操作多个大文件和大目录时出现的性能和稳定性的问题。

为实现上述目的，按照本发明的一个方面，提供了一种将对象存储系统实现为本地文件系统的方法，包括：