[发明专利]一种分布式环境下的文件快速读写方法

说明书

技术领域

本发明属于网络通信领域，更具体地，涉及一种分布式环境下的文件快速读写方法。

背景技术

随着科技和互联网的高速发展，存储系统需要存储海量的数据，应对高并发用户的访问，提供高可靠、高可用的服务，传统的单机系统已经不能满足这些需求，而分布式文件系统可以很好的满足这些需求。在实际的应用中（个人应用、web应用、科学计算等）会产生海量的文件信息，如何在分布式环境下高效的存储和访问海量的文件，至今任然是一个难题和挑战。

当前主流的分布式文件系统包括google GFS，HDFS，Lustre，Ceph等。这些分布式文件系统的架构和基本原理大致相同，主要由元数据节点，数据节点和客户节点组成。其中元数据节点保存分布式文件系统的元数据（文件系统的命名空间，文件名->数据块的映射，数据块->数据节点的映射）；数据节点存放实际的文件数据（一般以数据块的形式进行存储）；客户节点连接元数据节点进行文件信息查询，连接数据节点进行实际的文件传输，其在存取数据之前都要先和元数据节点进行通信。

分布式文件系统对于文件的读写性能比较低。其文件读写性能差有以下原因：分布式文件系统的元数据存于元数据节点的内存中，大量的文件会占用元数据节点很多内存（一个文件会占用一个索引项）；大量文件的频繁存取，会加重元数据节点的负担（客户节点不停的和元数据节点交互），造成数据节点磁盘频繁的寻道，降低系统的性能；客户节点在存取文件时和元数据节点交互的时间可能大于和数据节点的数据传输时间。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种分布式环境下的文件快速写方法，旨在解决现有方法中存在的元数据节点占用内存大，以及大量文件写效率低下的问题。

为实现上述目的，本发明提供了一种分布式环境下的文件快速写方法，包括以下步骤：

步骤S301：对分布式环境下元数据节点的数据区及索引信息进行初始化，其中索引信息包括元数据节点的索引区和一级索引区，以及数据节点的二级索引区；

步骤S302：客户节点向元数据节点发出写文件请求；

步骤S303：元数据节点根据写文件请求判断元数据节点的数据区的剩余空间是否大于或等于该文件大小，如果是，则转入步骤S304，否则转入步骤S308；

步骤S304：元数据节点接收客户节点的文件，并将该文件存储到元数据节点的数据区的剩余空间中；

步骤S305：元数据节点更新其索引区的信息：

步骤S306：元数据节点判断元数据节点的数据区中存储的数据是否大于一个阈值，如果是，则转入步骤S307，否则过程结束；

步骤S307：元数据节点将其数据区的数据作为一个普通文件存于分布式文件系统中，并清空其数据区及索引区中的数据，过程结束；

步骤S308：元数据节点将其数据区的数据作为一个普通文件存于分布式文件系统中，并清空其数据区及索引区中的数据；

步骤S309：元数据节点接收客户节点的文件数据，并将其存储到其数据区的剩余空间中；

步骤S310：元数据节点更新其索引区的信息。

文件的大小是介于0~1MB之间，普通文件的大小大于所述阈值。

步骤305和步骤S310具体为，元数据节点在其索引区中添加一条新的表项，包括有文件ID、文件在数据区中的偏移、以及文件的大小。

步骤S301包括以下子步骤：

步骤S401：判断是否已经对分布式环境下元数据节点的数据区及索引信息进行过初始化，如果是，则过程结束，否则转入步骤S402；

步骤S402：元数据节点在其内存中开辟一个大小为M的区域，用以保存临时的文件，其中M为大于上述阈值的正整数；

步骤S403：元数据节点设置索引区，用于存储每个文件在其数据区中的索引信息；

步骤S404：元数据节点设置一级索引区，用于保存文件到数据节点的映射关系；

步骤S405：数据节点设置二级索引区，其位于数据节点中，用于存储文件的二级索引信息。

二级索引信息包括：文件到数据块的映射、文件在数据块内的偏移、及文件的大小。

步骤S307和S308均包括以下子步骤：

步骤S501：元数据节点将其数据区的数据作为一个普通文件保存于分布式文件系统中；

步骤S502：元数据节点将该普通文件的索引信息发送到相应的数据节点的二级索引区中，数据节点将该索引信息添加到其二级索引区；