[发明专利]实时统计作业管理系统资源利用率的方法、装置、设备

说明书

本发明属于资源管理技术领域，具体提供一种实时统计作业管理系统资源利用率的方法、装置、设备，所述方法包括如下步骤：接收用户查询请求，确认用户输入合法后获取作业基础信息，并根据作业基础信息发布信息收集请求；接收到收集请求后，根据作业基础信息收集作业的业务信息；将收集的业务信息进行处理，计算作业整体资源使用率；将作业资源使用信息输出到用户窗口。实时查看当前作业的资源使用情况，确定每个cpu、内存是否充分的利用，进而判断作业提交的方式是否正确及申请的资源是否合理，避免因过多的申请资源导致资源的浪费，或资源不足导致计算缓慢的问题。

技术领域

本发明涉及资源管理技术领域，具体涉及一种实时统计作业管理系统资源利用率的方法、装置、设备。

背景技术

高性能计算是指利用大量计算机的计算能力提高应用程序计算效率，进而缩短计算时间。高性能计算集群是高性能计算的物理、软件平台，其主要由服务器、存储、网络以及作业调度系统组成。其中服务器可以分为管理节点、计算节点，管理节点是用户与高性能集群交互的接口，为用户提供登陆、数据传输以及作业发布的作用，也是作业调度系统的中央控制节点。计算节点为计算提供cpu、内存、gpu等资源，存储节点是数据存储的设备，为整个集群提供统一的数据存储，网络设备一般指交换机，为集群内部节点之间互联提供通信。作业管理系统是整个集群资源及作业管理的软件，作业是指用户要运行的应用程序，用户运行任务时，通过作业管理系统提供的工具，申请该作业需要多少的cpu核心数量、内存大小、gpu数量等其他所需资源，将作业提交到计算节点上进行计算。同时，用户也可以指定某个具体的分区、或者节点来进行计算。如果用户不对节点进行指定，则作业调度系统会自动为其分配到某个节点中。如果所指定或者自动分配计算节点上的空闲的资源满足作业所需，作业会进入运行状态，作业运行完毕后自动退出并释放资源。如果计算节点上空闲的资源无法满足作业申请的资源，作业会进入排队状态，等待其他作业运行完毕后释放资源，在空闲资源满足条件的情况下作业进入运行状态。

slurm是一种作业管理系统，被广泛用应用于高性能集群的管理。本发明针对slurm作业管理系统的作业资源使用情况进行实时查看的方法，能够让用户实时的查看到所提交的作业资源的利用情况，根据查看的资源利用信息，可以优化应用程序、提高资源利用率、选择合适的资源来运行自己的应用程序。slurm可以通过Cgroup实现对作业资源的限制，并记录作业所分配和使用资源信息。当用申请的资源分配到节点时，会根据用户申请资源，在计算节点自动生成作业Cgroup限制组。Cgroup可以对cpu、内存资源进行限制和统计，限制cpu核心数量和内存大小，同时，可通过Cgroup获取到作业所使用的cpu核心编号、cpu时间、内存大小、最大内存大小、内存溢出次数等资源分配和使用信息。

用户提交作业时，通过slurm申请自己所需的资源，包括cpu个数，内存大小，gpu数量，当指定的资源类型和数量被分配给某个作业时，其他作业将无法调用该资源。作业在实际运行时，可能并无法完全利用这些资源，也就是资源利用率不高，或者只有部分资源被利用。

发明内容

用户提交作业时，通过slurm申请自己所需的资源，包括cpu个数，内存大小，gpu数量，当指定的资源类型和数量被分配给某个作业时，其他作业将无法调用该资源。作业在实际运行时，可能并无法完全利用这些资源，也就是资源利用率不高，或者只有部分资源被利用的问题，本发明提供一种实时统计作业管理系统资源利用率的方法、装置、设备。

第一方面，本发明技术方案提供一种实时统计作业管理系统资源利用率的方法，包括如下步骤：

接收用户查询请求，确认用户输入合法后获取作业基础信息，并根据作业基础信息发布信息收集请求；

接收到收集请求后，根据作业基础信息收集作业的业务信息；

将收集的业务信息进行处理，计算作业整体资源使用率；

将作业资源使用信息输出到用户窗口。