[发明专利]支持分布式决策的大规模高并发访问I/O服务器负载均衡系统

说明书

技术领域

本发明公开了一种大规模IO服务器负载均衡系统，尤其涉及一种支持分布式决策的高性能计算机文件系统中大规模高并发访问I/O服务器间的负载均衡系统，I/O指输入/输出。属于计算机技术领域。 

背景技术

并行输入/输出(Input/Output)系统历来是计算机系统结构领域一个热点研究方向，其旨在内存和磁盘之间创建多个数据通路来缓解计算机系统的I/O性能瓶颈问题。并行文件系统作为并行输入/输出系统的核心软件之一，不仅提供了文件数据并行访问所需的语义和接口，而且能够通过文件的分条、文件的分配和数据服务器之间的动态负载均衡等手段来保证文件数据的聚合访问速度。其中，文件分条是文件数据并行访问的前提之一；有效的文件分配是发挥大规模存储设备性能的有力保障；数据服务器之间的动态负载均衡则保证了并行文件系统的高性能和高扩展性。本发明公开了一种涵盖上述三项关键技术的面向高性能计算机文件系统中大规模IO服务器的服务器负载均衡系统。 

现有主流的并行文件系统包括PVFS，Lustre和GPFS等。一般的文件数据负载均衡的完整流程可以抽象概括为三个关键步骤（如附图1所示）：第一步，对进入并行文件系统的文件进行分块（条）。第二步，分条文件的分配。第三步，并行文件系统中I/O服务器之间动态负载均衡。就文件分条而言，其中一个重要因素就是确定文件的分条宽度。下面我们将从本发明相关的学术研究及已发表论文分析、以及相关的专利分析两方面对本专利的创新性进行分析。 

(1)在支持分布式决策的高性能计算机文件系统中大规模高并发访问I/O服务器间的负载均衡方法的相关研究和已发表论文分析方面，和本专利相关的包括文件分体方法、分体文件的分配方法和负载均衡三方面： 

首先，在文件分条方法的相关研究和已发表论文分析，首先因为面向单一的检查点文件可以方便进程失效之后的重启;单一的结果文件可以使得计算结果良好的封装，单一的共享文件也会降低元数据压力等原因，传统的“单文件-多进程”的方式已被广泛采用，目前迫切 需要一种文件级的分条粒度。其次，随着数据密集型，高性能计算机已进入P级，即将进入适于E级计算的高性能计算机研发，其文件系统中的文件请求具有更典型的大规模、高并发，高突发等特征，需要能够刻画该特征的分条模型。单一应用程序内部的计算阶段和I/O阶段相互交替（例如同步原语（MPI_File_sync、MPI_Barrier等）；访问多个文件的平稳请求流也可能转换成为访问单一文件的突发请求流（如Server-Side coordination技术）。总体看来，如表1所示，传统利用实验统计和最优化的数学理论等方法，针对如何确定系统级或者目录级的文件分条宽度的问题已经进行了大量的研究。但是由于系统级和目录级的文件分条没有考虑单一文件的访问特性，在面对科学计算程序的I/O性能优化时并不能很好刻画文件级访问特征，特别是大规模高性能计算机当前（如P级）和未来（如E级）的大规模高并发等需求，具有一定的限制。与此相反，文件级别的分条方法能够很好考虑单一文件访问的特性，从而给出能够提高该文件访问性能的分条宽度。对于高性能计算机所使用的并行文件系统而言，由于其需要面对具有突发特性的科学计算程序的I/O请求、同时也得面对更高的文件访问并行度，因此现有研究总体仍然缺乏一种能够很好的应用于高性能计算中数据并发访问的文件级分条策略，尤其是该分条的策略需要满足能够根据每一个文件的自身的访问特点和整个系统的负载情况来确定文件的分条宽度，从而为高效的并行数据的访问提供保证。 

表1.文件分条方法概括和对比