[发明专利]一种面向分布式文件系统的统一命名空间管理的方法

说明书

本发明公开了一种面向分布式文件系统的统一命名空间管理的方法，包括以下步骤：将第一挂载表放置在统一命名空间服务端，统一命名空间客户端启动时从服务端获取挂载表，服务端挂载表支持挂载表项的动态添加和删除，客户端通过心跳线程定期从服务端获取更新的挂载表。本发明解决已有系统中挂载表分散难以管理，引入统一命名空间后元数据访问性能下降严重等问题。

技术领域

本发明涉及分布式存储领域，具体是一种面向分布式文件系统的统一命名空间管理的方法，尤其涉及底层有多个分布式文件系统的情况下，向上层提供一个统一的命名空间的方法。

背景技术

在大数据生态环境中，分布式文件系统支撑着上层运行的大数据计算框架及结构化存储系统，是大数据软件栈的重要组成部分。一方面，海量数据的增长使得数据常常存储在多个分布式文件系统中，形成多个独立的命名空间。另一方面，分布式文件系统普遍采用主从式架构，元数据存储在主节点的内存中，系统元数据承载量有限，常用的水平扩展方案是增加系统中的主节点数量，每个主节点管理各自独立的命名空间。为了简化上层应用对多个独立的命名空间的访问，通常向上层应用提供一层统一命名空间，应用只需与统一命名空间交互，由统一命名空间将上层应用的数据访问请求转化为具体的文件系统数据访问请求。

挂载表是统一命名空间中的一个重要的数据结构，挂载表保存了统一命名空间URI(统一资源标识符，Uniform Resource Identifier)到分布式文件系统URI的映射关系，上层应用使用统一命名空间URI请求数据，由统一命名空间查询挂载表，并转化为具体的文件系统数据请求。挂载表可以由上层应用在客户端配置，也可以统一放置在服务端，由系统管理员配置，上层应用与服务端交互获取所需的挂载表项。

已有的统一命名空间实现方案有viewFS，Alluxio Unified Namespace等。viewFS是访问多个HDFS namenode的统一命名空间解决方案，上层应用在客户端配置挂载表，viewFS通过挂载表完成viewFS URI到HDFS URI的映射，访问相应的HDFS namenode，其特点是实现简单，配置灵活，无须添加额外的服务端，缺点是上层应用需要知道底层分布式文件系统的具体情况，如果出现底层分布式文件系统增加或修改，所有相关的上层应用都需要重新配置挂载表，增加了上层应用的使用负担。进一步地，由于挂载表分散在各个上层应用中，对文件系统中任意挂载点目录的更改都需要通知对应的上层应用，增加了分布式文件系统管理的负担。

Alluxio Unified Namespace是访问多个分布式文件系统的统一命名空间解决方案。其挂载表配置在Alluxio Master端配置，上层应用无须在客户端进行配置，直接使用Alluxio URI访问多个底层分布式文件系统，由Alluxio Master完成对相应的分布式文件系统的映射，其优点是上层应用无须关心底层分布式文件系统的具体位置，甚至可以挂载不同类型的存储系统(HDFS，S3等)。缺点是Alluxio访问底层多个分布式文件系统需要将其元数据加载进自己的Master进程中，在面对底层元数据量较大的情况下容易造成元数据访问性能下降，Alluxio也提供了不加载底层分布式文件系统元数据的配置项，此时应用客户端只需从Alluxio Master端获取所需的挂载项，并在客户端完成URI的映射，有效缓解了Master端的元数据压力，缺点是上层应用每次访问底层分布式文件系统需要增加一次客户端到Alluxio Master端的RPC，对元数据IO密集型应用有较大的影响。

发明内容

发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提供一种一种面向分布式文件系统的统一命名空间管理的方法，解决现有系统中挂载表分散难以管理，引入统一命名空间后元数据访问性能下降等问题。

技术方案：为了实现上述发明目的，本发明采用的技术方案是提供一种面向分布式文件系统的统一命名空间管理的方法，包括以下步骤：

(1)将第一挂载表放置在服务端；