[发明专利]一种集群计算资源的分区调度管理方法

说明书

技术领域

本发明涉及一种高性能计算集群的调度管理方法，具体涉及一种集群计算资源的分区调度管理方法。

背景技术

随着高性能计算集群在各高新领域的广泛应用，集群上的应用呈现出处理过程复杂、应用种类多样的态势，不同类型的应用，或同一应用使用不同的运行方式都可能对计算资源有着不同的要求，因此如何通过作业调度系统，对计算资源进行合理分配，使作业能够被调度到对应的分区上，并做到对分区以及分区与队列关系的动态调整变成为了具有重要应用价值的问题。

Torque 5.0中提供的针对队列的资源配置方法中，通过将单个计算节点与作业队列进行关联，来为队列中的作业分配可使用的计算资源。节点与队列的关联的具体方式为，修改关联队列的acl_hosts属性值为对应的节点名称。修改后，提交到该队列中的作业将会使用并且只能使用acl_hosts属性中所指定的节点资源。现有技术存在以下问题：

Torque中所提供的这种节点资源配置方式基本可以解决不同类型作业对于计算资源的不同需求的问题。但是由于配置方式单一，导致易用性较差，尤其在集群规模较大、节点或队列数目较多、资源配置策略复杂等情况下，使用该方法实现队列与资源对应配置的工作量将变的很大，甚至不具有可实施性。

发明内容

针对现有技术的不足，本发明提供一种集群计算资源的分区调度管理方法，该方法使用队列分区配置工具“Qpar”和分区节点配置工具“Pnode”，使资源配置过程在较大的集群规模、复杂配置情况下同样可以做到配置方便、动态设置的要求，并且保证了对计算节点资源的合理利用，具有很强的可实施性。

本发明的目的是采用下述技术方案实现的：

一种集群计算资源的分区调度管理方法，其改进之处在于，所述方法包括下述步骤：

（1）作业被提交到调度资源管理系统；

（2）指定运行的作业队列；

（3）判断作业队列所对应分区的空闲程度及优先顺序（空闲程度：当前，分区内计算资源的利用率。优先顺序：每个分区内对多个作业队列设置不同的优先级），并选择至少一个的分区；

（4）确定作业运行所需的至少一个计算节点；

（5）将作业调度到选定的计算节点上。

其中，所述步骤（1）中，作业被提交到调度资源管理系统Torque资源管理器中。

其中，所述步骤（2）中，通过Torque资源管理器指定运行的作业队列。

其中，所述步骤（3）中，根据队列分区配置工具Qpar的配置调度系统判断作业队列所对应分区的空闲程度及优先顺序，并选择至少一个的分区。

其中，所述队列分区配置工具Qpar是指用于配置、查看队列与队列分区表之间的对应关系；所述队列分区表中记录了队列与分区之间的对应信息。

其中，所述队列分区配置工具Qpar包括以下命令：

A、显示所有队列及各队列对应的分区；

B、显示指定队列的分区；

C、添加新的队列，添加的队列为默认设置；

D、为指定队列添加分区；

E、所述指定队列使用调度资源管理系统中的所有分区；

F、删除指定队列；

G、从队列中删除指定分区；

H、使队列分区配置生效命令。

其中，所述步骤（4）中，根据分区节点配置工具Pnode确定作业运行所需的至少一个计算节点。

其中，所述分区节点配置工具Pnode是指用于配置、查看分区与分区节点表之间的对应关系；所述分区节点表记录了分区与节点之间的对应信息。

其中，所述分区节点配置工具Pnode包括下述命令：

I、显示所有分区及各分区对应计算节点；

II、显示指定分区的对应节点；

III、添加新的分区，添加的分区为空分区；

IV、为指定分区添加计算节点；

V、指定分区使用调度资源管理系统中的所有计算节点；

VI、删除指定分区；

VII、从分区中删除指定计算节点；

VIII、使分区节点配置生效。

其中，所述步骤（5）中，Maui作业调度器将作业调度到选定的计算节点上。

其中，一个队列中包含至少一个分区；同一个分区或同时属于至少一个队列所有；一个分区中包含至少一个计算节点；同一个计算节点或属于至少一个分区；同一分区中所包含的计算节点不可重复。

与现有技术比，本发明达到的有益效果是：