[发明专利]针对分布式文件系统的高可用消息传输框架和方法

说明书

技术领域

本发明总体上涉及分布式文件系统的消息传输框架及消息传输方法，特别 涉及在分布式文件系统的消息传输层面实现高可用机制来提高文件数据网络 传输的可用性，从而提升分布式文件系统整体可用性的消息传输框架和方法。

背景技术

机群系统以其可扩展性好、性能价格比高、高可用性强、可继承现有软硬 件资源和开发周期短、可编程性好等特点，目前已成为超级服务器的主流体系 结构。机群系统自上世纪70年代诞生以来，经历了从专用机群系统到通用机 群系统的发展，规模从几十个处理器发展到了上万个处理器。优越的可扩展性 使得很容易通过扩大系统规模来达到所需要的性能。然而伴随系统规模的增 长，系统中一些设备将不可避免地发生故障，这也使得人们不仅仅关注性能， 同时将视线转移到系统的易用性、可管理性及可用性方面。

一个机群文件系统需要为用户提供可靠可用的数据服务。提供可靠的数据 服务意味着文件系统不能失去也不能破坏数据，提供可用的数据服务意味着文 件系统可以让应用程序能够获得其所需的数据，也就是保证文件系统一直能够 为用户提供可用的服务或是能够在故障后快速的恢复从而继续为用户提供服 务。其中，文件系统的网络故障处理又是非常重要的，它是文件系统实现容错 的基础，分离并处理文件系统的网络故障，有助于提升系统整体容错的效率和 可扩展性。

目前分布式文件系统的网络容错机制主要在四个层面实现，即底层的网络 协议层(TCP/IP)，文件系统的消息传输层(NFS/RPC)，分布式文件系统层 (PVFS2/BMI)以及网络硬件拓扑层(Lustre/LND)。

由于文件系统位于底层网络协议栈之上，并且分布式文件系统操作不具备 事务性(由多次网络传输操作组成)，因此底层的网络协议层的容错机制不能 为文件系统提供所需的可用性保障。而在文件系统层直接解决网络故障，将文 件系统操作和网络容错机制紧密结合起来，能够解决软件网络故障，不过对于 网络硬件故障也不易恢复，并且这种做法使得文件系统与底层网络协议耦合度 增大，不利于扩展和移植；网络硬件拓扑容错基于冗余度较高的网络拓扑模型， 在很大程度上解决了硬件原因引起的网络故障，对处理网络分割尤为有效，其 所带来的问题是较高的硬件成本及工程实施上的困难，并且不能很好地处理硬 件系统运行良好的网络故障，如网络性能骤降、逻辑连接中断等异常。

另外，就在文件系统的消息传输层解决网络容错而言，其通过状态转换机 来实现请求的重传，尽管其能够解决连接中断等软件错误，但是不能解决网络 分割等硬件故障。

发明内容

本发明的目的是提供一种针对分布式文件系统的高可用消息传输框架和 方法，其能够解决由于现有技术的不足而导致的一个或多个问题。

为了达到上述目的，本发明采取如下技术方案。

一种针对分布式文件系统的高可用性消息传输框架，其位于文件系统层之 下、网络协议层之上；该消息传输框架包括：

文件系统接口层，为文件系统层提供访问接口；

文件操作处理层，分别与文件系统接口层和底层协议封装层交互，处理文 件系统层提交的请求，提交操作给底层协议封装层；

底层协议封装层，与网络协议层通信，将文件操作处理层提交的操作进行 封装后通过网络协议层发送消息。

进一步地，所述文件系统接口层包括：

创建通信上下文接口、创建连接上下文接口、创建操作上下文接口，释放 操作上下文接口、释放连接上下文接口、释放通信上下文接口，以及提交操作 接口、轮询回调接口等，其中提交操作接口用于文件系统创建操作上下文并将 操作上下文挂到文件操作处理层的发送队列，轮询回调接口用于接收方从接收 队列上取下到达消息的操作上下文结构。

进一步地，所述文件操作处理层包括：

连接通道选择单元，用于从通信上下文中选择连接通道；

连接通道重构单元，用于当连接通道选择单元选择到无效通道时，重构连 接通道；

操作上下文重构单元，用于将操作上下文加入操作重构队列，并在连接通 道有效后，激活该操作。

进一步地，所述文件操作处理层还包括：