[发明专利]一种用于分布式文件系统的文件读写方法

说明书

本发明公开了一种用于分布式文件系统的文件读写方法，文件读采用客户端‑元数据服务器‑数据服务器‑客户端的文件读取IO路径，文件写时客户端获取需要进行文件写的待写文件数量，如果待写文件数量超过预设阈值，则判定高性能计算场景，且针对高性能计算场景下大量的线程同时写文件采用“先写数据后创建元数据”的策略以降低元数据服务器上的突发负载；否则，针对每一个待写的目标文件采用客户端‑数据服务器‑元数据服务器‑客户端的文件写入IO路径。本发明具有文件读写速度快，效率高，减少了客户端和元数据服务器交互的次数，降低了通信开销的优点。

技术领域

本发明涉及分布式存储系统领域，具体涉及一种用于分布式文件系统的文件读写方法。

背景技术

随着大数据应用的普及与深入，基础计算框架对储存系统在规模和性能要求等方面提出了更高的挑战。高性能计算机对分布式文件系统性能要求越来越高，在海量小文件频繁创建删除和大规模并发I/O操作的应用场景中，文件系统读写效率成为限制其性能的关键因素。例如，对健康大数据，交通大数据和金融大数据等这些应用来说，数据量通常都在TB、PB甚至EB数量级，因此需要大量的储存资源来储存和管理这些数据。此外，大量的数据分析任务需要从不同存储地址快速的访问数据，这对于储存系统的读写速度也具有很高的要求。因此，要支持海量大规模数据储存和计算，除了系统的硬件特性之外，高效的数据组织和管理也是必不可少的关键技术之一。作为应用系统基础平台的用于支持数据访问的文件系统，其性能和可扩展性就变得越来越重要。为了提高文件系统性能，并在一定程度上提高文件系统的可扩展性，如GFS、Hadoop Distribute File System（HDFS）、Lustre等分布式文件系统应运而生。这些分布式文件系统通过将元数据服务和数据服务分离，由元数据服务器来提供元数据服务，由多个数据服务器来并行提供数据服务。其中，元数据采用集中式管理方式，在数据规模小或特定的应用环境下，集中式管理方式在减小元数据访问的通信代价以及维护元数据的一致性开销等方面显示了优势，但这种管理方式可维护的元数据量，以及可提供的元数据服务性能都会受到限制，元数据服务器随着数据量的增长，将会成为系统的性能瓶颈，不利于系统进一步扩展。

传统的分布式文件系统读写文件的具体过程为：（1）客户端接收用户发送的文件创建请求；（2）客户端向元数据服务器请求创建文件；（3）元数据服务器根据文件创建请求将该文件在数据服务器中创建后返回文件ID；（4）客户端接收元数据服务器返回的文件ID，把文件ID编码为字符串文件名发送给用户；（5）客户端接收用户通过该字符串文件名发起的文件读写请求；（6）客户端将字符串文件名反编码为文件ID，并向元数据服务器请求该文件相关的数据服务器信息，该数据服务器信息用于指示将该文件被创建至在哪个数据服务器。

但是传统的分布式文件系统读写文件在执行步骤（4）后，客户端无法根据用户传入的该文件的文件名直接读写数据服务器，必须通过执行步骤（5）和步骤（6）之后，必须通过从元数服务器获取该文件的数据服务器信息之后，才能读写数据服务器。这种读写文件的方式降低了客户端访问文件的效率，同时也增大了元数服务器的访问压力。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种用于分布式文件系统的文件读写方法，具有文件读写速度快，效率高，减少了客户端和元数据服务器交互的次数，降低了通信开销的优点。

为了解决上述技术问题，本发明采用的技术方案为：

一种用于分布式文件系统的文件读写方法，文件读的实施步骤包括：

A1）客户端向分布式文件系统的元数据服务器发送读取文件的请求；

A2）元数据服务器在收到客户端的请求后向客户端返回查询元数据信息、且向读取文件的文件块所在的数据服务器发送客户端请求信息及通信地址，客户端根据元数据服务器返回信息找到读取文件的文件块所在的数据服务器；