[发明专利]一种分布式文件数据访问方法及系统

说明书

技术领域

本发明涉及分布式存储技术领域，更具体地，涉及一种分布式文件数据访问方法及系统。

背景技术

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的管理节点及所存储的数据各自分布在不同的节点上，这些节点之间通过网络相连，并可为多个客户端提供文件的存储、读写、删除等服务。通常的分布式文件系统主要由元数据服务器、数据块服务器和客户端组成，元数据服务器用来维护一个全局的命名空间，数据块服务器是分布式文件系统中用来直接存储数据的地方，客户端是用户和文件系统的接口，通常客户端都能使用户透明的进行I/O操作。

伴随云存储业务的不断增加，存储数据的规模也在不断增加，分布式文件系统也需要由大量的节点组成，这就使得分布式文件系统具有易扩展、高可靠性、安全接入等特点。目前应用较为广泛的分布式文件系统主要有GFS和Hadoop分布式文件系统(HDFS)。HDFS采用了主/从架构来管理文件系统，一个HDFS集群是由一个NameNode节点和一定数量的DataNode节点组成，NameNode是HDFS的主服务器，主要负责管理文件系统的元数据，DataNode是主要负责存储文件的数据块。具体架构如图1所示，NameNode节点是整个分布式文件系统的核心服务器，主要功能是管理用户文件的元数据信息，维护着整个文件系统树和这个树内所有的文件和索引目录。此外，NameNode节点还会负责数据块的管理，如新建数据块、备份数据块、删除多余的数据块以及垃圾回收等内容，为了保证元数据的可靠性，NameNode还会将元数据信息以镜像文件和编辑日志两种形式保存到硬盘中。

DataNode节点是存储文件的数据块，但并未记录数据块到文件的映射，因此客户端是通过NameNode获取文件的数据块信息和位置后，才能与DataNode联系进行文件的读写操作。每个DataNode节点都会定时向NameNode发送心跳信息和数据块报告状态，如果NameNode发现某个DataNode节点失效，就会将失效节点上的数据块通过其它副本复制到一个正常的DataNode中，保证数据块的副本数达到指定的数量。

通过分析HDFS架构的扩展性、性能、可靠性、安全性等，目前的HDFS架构使用单一的NameNode节点来管理整个HDFS集群的命名空间会使系统控制逻辑比较简单、方便管理，但是也会导致可靠性和安全性方面的缺陷。在分布式系统中，虽然文件的元数据大小相对于NameNode的存储空间来说是很小的，但是整个文件系统50％到80％的处理量都是对元数据的处理，所以分布式文件系统对元数据的服务性能大大制约着其文件的处理能力。所以在大规模HDFS应用的场景中，Namenode节点逐渐会变的不堪重负，并且HDFS在设计之初并未考虑安全因素，这种架构上的缺陷都会成为整个系统的瓶颈所在。

现有技术中，由于HDFS设计初期并没有考虑安全因素，其假定了服务器集群总是处于可信的环境中，并由可信用户使用的。面对分布式存储系统应用越发广泛的趋势，越来越多意外的或有意的安全问题出现了。例如：合法用户会误操作删掉大量有用的数据，非法用户可以冒充某个合法用户访问该用户在HDFS中的数据。这些安全问题都制约着传统分布式文件系统的发展。

发明内容

为解决现有技术中分布式文件系统设计初期并没有考虑安全因素，非法用户可以冒充某个合法用户访问该用户在分布式文件系统中的数据的问题，提出一种分布式文件数据访问方法及系统。

根据本发明的一个方面，提供一种分布式文件数据访问方法，包括：

接收用户ID信息，判断用户是为注册用户，根据所述用户ID信息，生成第一会话密钥，从本地数据库中调取用户Master Key和核心控制节点Master Key，根据所述用户Master Key加密所述第一会话密钥，获得第一加密信息，根据所述核心控制节点Master Key加密所述第一会话密钥和该用户ID信息，获得第二加密信息；

将所述第一加密信息和第二加密信息发送给客户端，以接收所述客户端返回的所述第二加密信息和通过所述第一会话密钥加密的第三加密信息，所述第三加密信息中包含待验证的用户ID信息和请求文件名；

根据第一会话密钥解密所述第三加密信息，获得所述待验证的用户ID信息，根据所述用户ID信息和所述待验证的用户ID信息的一致性判断获知该用户具有目标子群控制节点的访问权；