[发明专利]一种适用于大规模高效能计算机的层次式计算资源管理方法

说明书

技术领域

本发明涉及计算机软件领域，特别涉及一种适用于大规模高效能计算机的层次式计算资源管理方法。

背景技术

在高效能计算机系统中，提高系统的性能，增强其可用性，满足多种类型应用的需求，是高效能计算机软件系统研发所面临的一个重要课题。而资源管理是影响其机器充分发挥性能和提高机器的利用率，以及用户可获得最高可用性的关键技术之一。

计算资源管理系统主要包括资源监控系统和作业管理系统两大部分，目前国际上对资源管理的研究多为针对集群系统、网格计算系统和MPP系统。大多数作业管理系统是遵循POSIX1003.2d标准，在早期的NQS基础上扩展了各自的资源配置和作业管理系统，如NQS、DQS、NQE、PBS等。它们针对异构网络环境的特点优化软硬件资源使用和管理，可以为多种应用提供集成的作业管理及可靠的批处理环境，采用负载平衡的调度算法，以提高系统的作业吞吐率。一些MPP机的资源管理系统就采用了改进的NQS和PBS系统。

例如Condor，它是一个独具特色的资源管理系统，是早期实现的作业管理系统之一。它是由Wisconsin大学研究设计的，采用了资源分类通告、远程过程调用和作业迁移三大技术，实现了预约、调度和负载平衡等功能，主要针对高吞吐率的应用而设计的。后续的许多系统如IBM公司的Loadlever，德国GENIAS公司的CODINE都受到它的影响。它目前面向网格系统设计了资源管理系统Condor-G，并获得了较好的应用。SUN的Grid Engine(SGE)的目标是针对异构的、分布的计算环境提供可扩展的资源管理和调度工具。

另一种成功的分布式资源管理系统是由加拿大多伦多的Platform Computing计算公司开发的商用系统LSF，将分散的网络资源以统一、可共享的计算资源视图呈现给用户，它的突出特点是提供了多种资源共享工具，把批处理、作业调度、多群机共享、负载分析平衡、并行生成五个独立的软件集成到LSF库中，用户通过一组实用程序命令使用LSF系统的功能。

目前国内外还有多种计算资源监控系统的实现，它们主要用于动态监控和收集分布于系统中各节点的状态，以及各种资源的利用率。各个监控系统实现的方式各不相同，采用的界面多种多样，但大多相对简单，未与作业管理系统集成。

综合整个国内外的研究来看，目前资源管理系统存在以下一些缺陷，大多数系统采用单一集中式全权管理，使管理的计算资源规模和种类受限；单一的管理和调度节点不可避免的成为系统的主要瓶颈之一，从而导致资源的联合预约、分配能力差、缺乏有效的事件功能、对容错机制的支持较弱等一系列问题。

然而，随着计算机性能的不断提高，尤其是高效能计算机的研发和不断进步，计算机节点规模巨大，硬件设备繁多，软件配置复杂，用户数量和作业数量增加，作业队列的数目和长度增加，这些量的变化最终将导致质的变化，给资源管理系统引入了许多新的挑战，使整个系统资源的管理及作业管理的有效性问题十分突出。因此，如何有效简便地安装和配置整个系统和应用，管理众多的软硬件资源，以及如何实现系统资源状态的有效监控，顺畅的获得各类资源信息，为系统管理员提供高效地管理和监控全系统资源的手段，这些都是资源管理系统软件必须解决的主要技术问题。

发明内容

为了克服现有技术中存在的技术问题，本发明提供了一种适用于大规模高效能计算机的层次式计算资源管理方法，能够克服大规模高效能计算机系统中由于单一管理调度节点所带来的各种瓶颈问题，通过采用类似树形结构的管理模式和动态的设置“子管理”节点，实现对高效能计算机系统中规模庞大的计算资源的有效管理和维护。

为了实现上述目的，本发明提供以下技术方案：

一种适用于大规模高效能计算机的层次式计算资源管理方法，通过层次式软件架结构将所有计算节点组织成树形结构，每个计算节点树包含三种不同的节点类型，即

叶节点：叶节点主要负责计算任务的执行，向上一层中间节点发送作业执行情况和节点资源使用情况，并向上一层中间节点汇报任务执行结果；

中间节点：中间节点的主要功能包括：(1)接收上一层中间节点或根节点分配的任务，向上一层中间节点或根节点发送作业执行情况和节点资源使用情况，并汇报任务执行结果；(2)实时监控下一层中间节点或叶节点的状态，收集本节点以下所有节点的负载信息；(3)任务调度决策，确保下层节点间的负载平衡；(4)与下层节点进行通信，分配计算任务，并接收计算结果；