[发明专利]一种在计算机集群环境中构建分布式文件系统及方法

说明书

本发明提供一种在计算机集群环境中构建分布式文件系统及方法，管理节点，存储节点，交换机，计算节点，IP地址设置模块，挂载模块；每个管理节点，每个存储节点及多个计算节点通过交换机连接到一起；管理节点用于使用户通过管理节点登录，并使用计算节点上的计算资源；存储节点的数据共享给集群中的所有计算节点和管理节点使用；在每个存储节点上部署ssh协议的服务器端守护进程sshd服务；在每个计算节点和每个管理节点上部署用户空间文件系统；在每个计算节点和每个管理节点上部署sshfs服务；系统可以较好的规避NFS文件系统在使用中潜在的问题。从而可以替代NFS在计算机集群中的相关功能。

技术领域

本发明涉及计算机文件处理领域，尤其涉及一种在计算机集群环境中构建分布式文件系统及方法。

背景技术

计算机集群(computercluster)是指通过网络连接的一些计算节点组成的整体，这些计算节点通过软件调度协同工作，使得整个集群的运行模式如同一台单一计算机一样。当前，计算机集群技术现在已经广泛的应用于大数据、云计算、高性能计算等多个IT领域。

分布式文件系统(distributedfile system)是计算机集群，特别是高性能计算集群系统中常见的组成部分，通过分布式文件系统，集群中的计算节点可以共享位于其他节点上的数据。在高性能计算集群中，一种常见的分布式文件系统是NFS(networkfilesystem)协议，NFS协议允许客户端计算机(client)通过计算机网络像访问本地存储一样访问其他计算机上通过NFS协议共享的文件。

当前，NFS协议已经被广泛的应用在高性能计算集群中。一种常见的使用方式是通过NFS协议把存储节点上的/home目录在集群中共享，计算节点通过mount的方式即可以挂载该目录并读写其中的数据。从而实现整个计算机集群共享同一个/home目录的效果。对于当前主流的NFS文件共享方式，Server端的共享和Client端的挂载都只能通过root权限完成，限制了普通用户进行操作的可能。一旦client端的挂载完成，client端就具有了对整个挂载目录的操作权限，存在一定的安全风险。

发明内容

为了克服上述现有技术中的不足，本发明提供一种在计算机集群环境中构建分布式文件方法，在计算机集群环境中构建分布式文件系统，系统包括：至少一个管理节点，至少一个存储节点，交换机，至少一个计算节点，IP地址设置模块，挂载模块，用户注册模块；

管理节点，存储节点及计算节点通过交换机连接到一起；

管理节点用于使用户通过管理节点登录，并使用计算节点上的计算资源；

存储节点的数据共享给集群中的所有计算节点和管理节点使用；

IP地址设置模块用于对每个管理节点，每个存储节点，每个计算节点设置IP地址；

每个管理节点，每个存储节点及每个计算节点均部署操作系统；

在每个存储节点上部署ssh协议的服务器端守护进程sshd服务；

在每个计算节点和每个管理节点上部署用户空间文件系统；

在每个计算节点和每个管理节点上部署sshfs服务；

挂载模块用于集群中的任意用户在存储节点中存储的数据通过sshfs服务挂载到计算节点和管理节点上的对应目录下；

用户注册模块用于使系统提供普通用户注册客户端及root用户注册客户端；普通用户注册客户端提供给用户注册普通用户账户及密码，root用户注册客户端提供给用户注册root用户账户及密码；

普通用户使用sshfs服务卸载以该用户权限挂载在计算节点和管理节点上的目录；

root用户把存储节点中的数据挂载到计算节点和管理节点上的对应目录下；