[发明专利]一种高性能计算集群的资源动态调整方法和装置

说明书

本发明公开了一种高性能计算集群的资源动态调整方法和装置，方法包括：配置高性能计算集群的负载策略；使用扫描脚本基于负载策略定期扫描高性能计算集群，以确定队列的负载状态；使用调整脚本基于负载策略和负载状态为队列添加资源、释放资源、或不执行处理。本发明能够资源队列划分后随负载使用情况进行动态调整，提升集群整体的任务吞吐量和资源利用率。

技术领域

本发明涉及高性能计算集群领域，更具体地，特别是指一种高性能计算集群的资源动态调整方法和装置。

背景技术

在HPC(高性能计算)集群中，管理员根据资源类型和业务需求将计算资源划分为不同的资源队列，然后分配给用户或者用户组使用，用户根据自身的计算需求将计算任务提交到相应的资源队列上。

业界常用的HPC资源调度引擎如Torque+Maui、Slurm、PBSPro等均支持管理员通过命令或配置文件的方式进行资源组的划分与分配，资源组划分后除非人工调整，否则不支持根据队列的任务负载进行动态调整，因此经常出现某些队列空闲的同时有其他队列由于资源不足造成任务等待。

针对现有技术中资源队列划分后不能随负载使用情况进行动态调整的问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种高性能计算集群的资源动态调整方法和装置，能够资源队列划分后随负载使用情况进行动态调整，提升集群整体的任务吞吐量和资源利用率。

基于上述目的，本发明实施例的第一方面提供了一种高性能计算集群的资源动态调整方法，包括执行以下步骤：

配置高性能计算集群的负载策略；

使用扫描脚本基于负载策略定期扫描高性能计算集群，以确定队列的负载状态；

使用调整脚本基于负载策略和负载状态为队列添加资源、释放资源、或不执行处理。

在一些实施方式中，负载策略包括负载扫描间隔和动态调整白名单；

使用扫描脚本基于负载策略定期扫描高性能计算集群包括：使用扫描脚本以负载扫描间隔为周期扫描高性能计算集群中记载于动态调整白名单上的队列。

在一些实施方式中，负载策略还包括预留节点数量、最小等待任务、和最大节点数量；负载状态包括忙队列和闲队列；

确定队列的负载状态包括：响应于特定队列上无等待任务、并且空闲的计算节点数量大于预留节点数量，而将该队列的负载状态确定为闲队列；响应于特定队列上的等待任务大于最小等待任务、并且计算节点数量小于最大节点数量，而将该队列的负载状态确定为忙队列。

在一些实施方式中，使用调整脚本基于负载策略和负载状态为队列释放资源包括周期性地执行以下步骤：

从所有闲队列中选择一个闲队列；

响应于被选定的闲队列上的空闲的计算节点数量大于预留节点数量，而从被选定的闲队列中移除一个空闲的计算节点。

在一些实施方式中，使用调整脚本基于负载策略和负载状态为队列添加资源包括周期性地执行以下步骤：

从所有忙队列中选择一个忙队列；

响应于被选定的忙队列上的计算节点数量小于最大节点数量，而向被选定的忙队列添加一个空闲的计算节点。

在一些实施方式中，扫描脚本包括添加判断函数和释放判断函数；

使用扫描脚本基于负载策略定期扫描高性能计算集群，以确定队列的负载状态包括：使用添加判断函数将队列的负载状态确定为忙队列，并且使用释放判断函数将队列的负载状态确定为闲队列。

在一些实施方式中，调整脚本包括空闲计算节点添加函数和空闲计算节点释放函数；