[发明专利]一种基于对象的集群文件系统管理方法及集群文件系统

说明书

技术领域

本发明涉及集群文件系统，尤其涉及一种基于对象的集群文件系统管理方法及集群文件系统。

背景技术

文件系统是操作系统的一个重要组成部分，通过对操作系统所管理的存储空间的抽象，向用户提供统一的、对象化的访问接口，屏蔽对物理设备的直接操作和资源管理。文件系统可划分为四个层次，从低到高依次是：单处理器单用户的本地文件系统，如DOSFS的文件系统；多处理器单用户的本地文件系统，如OS/2的文件系统；多处理器多用户的文件系统，如Unix的本地文件系统；多处理器多用户的分布式文件系统。分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。

集群是指通过计算机网络内的有效协同，使多台计算机对外提供统一的功能和强大处理能力服务的特性。集群文件系统是在分布式文件系统基础上发展而来，具备高性能、高可用性、负载均衡、数据共享使用等集群自身特点。

目前，集群文件系统主要有包括两种GFS(Global File System)系统和Lustre(Linux Cluster)文件系统。GFS文件系统中吸取了对称多处理器(SMP)系统设计和实现原理，将系统中的每一个客户机类比于SMP中的一个处理器，客户机间没有任何区别，可以平等地访问系统中的所有存储设备，与处理器可以机会均等地访问主存同理。GFS实现了元数据在不同节点的分布式管理，并且要求存储数据集中共享。Lustre文件系统是一个透明的全局文件系统，客户端可以透明地访问集群文件系统中的数据，而无需知道数据的实际存储位置。Lustre文件系统内部设计也采用了基于对象的设计方式，在统一构建的支持多种通信方式的底层通信平台(LNET)上，所有对象的访问和工作都基于客户机-服务器的工作模式。Lustre实现了存储数据的分布式管理，每个数据对象可管理多个物理设备。

现有集群文件系统，对于功能和扩展性都有一些局限。比如GFS文件系统要求数据共享管理，但文件系统自身不提供额外的数据管理，数据扩容和备份恢复较为困难。Lustre文件系统中执行元数据集中管理，对于元数据的访问较容易形成瓶颈。两个文件系统内部功能都与物理设备位置固定相关，无法自动与其它节点实现资源或功能的分担，资源复用的可能性较小。另外，两个文件系统提供了数据并行访问的功能，但没有有效的节点访问负荷均衡方案。在日益大型化和复杂化的存储网络应用中，存在频繁访问的节点容易出现访问瓶颈而局部空闲节点利用率不高的问题。

发明内容

本发明要解决的技术问题是提供一种基于对象的集群文件系统管理方法及集群文件系统，实现系统资源与物理设备无关的灵活配置和部署。

为了解决上述技术问题，本发明提供了一种基于对象的集群文件系统管理方法，包括：在集群文件系统中设置管理对象，管理对象对各系统节点进行监控并对系统节点的负荷进行自动均衡配置。

进一步地，上述方法还可以具有以下特点：

所述管理对象对元数据对象和/或存储数据对象在不同的系统节点上进行创建、删除、备份和负荷均衡。

进一步地，上述方法还可以具有以下特点：

管理对象根据系统节点的业务访问处理能力、传输能力和存储容量判断系统节点为过负荷节点或非过负荷节点，将过负荷节点上的元数据对象的服务转移到非过负荷节点上的备份元数据对象上，将过负荷节点上的存储数据对象的服务转移到非过负荷节点上的备份存储数据对象上。

进一步地，上述方法还可以具有以下特点：

新的系统节点加入时，管理对象在此新的系统节点上执行对过负荷节点上元数据对象和/或存储数据对象的备份，并通过负荷均衡使此新的系统节分担过负荷节点上元数据对象和/或存储数据对象的功能。

进一步地，上述方法还可以具有以下特点：

需创建新存储数据对象时，管理对象收到元数据对象发起的创建新存储数据对象请求后，为此新存储数据对象确定节点，并通知至元数据对象；管理对象响应超时情况下，由元数据对象为此新存储数据对象确定节点，并以此上报管理对象。

进一步地，上述方法还可以具有以下特点：

管理对象存在备份，管理对象异常后，由备份管理对象提供管理功能；备份管理对象有多个时，选择备份管理对象所在节点中的负荷最轻的节点上的备份管理对象作为新的管理对象。

进一步地，上述方法还可以具有以下特点：

管理对象所在节点的负荷超过预设门限时，重新选择管理对象所在节点。

进一步地，上述方法还可以具有以下特点：