[发明专利]并行处理设备、存储介质以及作业管理方法

说明书

提供了并行处理设备、存储介质以及作业管理方法。并行处理设备，包括：多个计算节点；以及将多个计算节点的计算资源分配给作业的作业管理装置。该作业管理装置包括：确定单元，其基于包括正被执行的作业和等待执行的作业的多个作业各自的预定执行时间段来确定资源搜索时间范围；以及搜索单元，其通过回填调度从在资源搜索时间范围内多个计算节点的计算资源中搜索要分配给多个作业之中作为处理目标的等待执行的作业的空闲计算资源。

技术领域

本发明涉及并行处理设备、存储介质以及作业管理方法。

背景技术

包括具有计算资源的大量计算节点的大型并行计算机系统并行地执行用户所提交的多个作业(job)。每个计算节点是包括单个中央处理单元(CPU)或多个CPU的计算机。每个CPU包括单个核或多个核。

并行计算机系统的作业调度器在每个作业开始被执行之前执行包括计算资源的分配的作业调度。作业调度器从计算节点的计算资源中选择作业请求的空闲计算资源以将所选择的计算资源分配给该作业。

例如，有时使用CPU时间来表示包括单个CPU的计算节点的计算资源。包括多个CPU的计算节点的计算资源有时被表示为CPU的数量×CPU时间(或核的数量×CPU时间)。排他地并行使用多个计算节点的作业请求的计算资源有时被表示为计算节点的数量×(占用的)使用时间段等。计算资源有时被简称为资源。

图1示出了并行计算机系统中的作业调度的示例。首先，在新作业提交(过程A1)中，用户提交了带有指定条件“仅在预定时间段内连续使用预定数量的计算节点”的作业，并且请求作业调度器101执行作业调度。在下文中，可以以“计算节点的数量×使用时间段”的格式来描述作业请求的计算资源。

在计算节点的网络拓扑为Mesh(网状)或Torus(环绕)的情况下，在指定要使用的计算节点时，用户有时指定要用于作业的范围的Mesh或Torus的形式。例如，针对三维形式，指定分别表示长度、宽度和高度的边中的每个边的计算节点的数量。

接下来，在作业接受(过程A2)中，作业调度器101以规则的间隔将所提交的作业一起接受。在图1的示例中，作业16至作业20被一起接受。在这些作业中，作业16、作业18和作业20是用户U1的作业，作业17是用户U2的作业，并且作业19是用户U3的作业。

接下来，在作业选择(过程A3)中，作业调度器101根据确定的优先级(例如组优先级或用户优先级)按照从最高优先级开始的顺序对包括所接受的作业的所有等待执行的作业进行排序。从而，将作业16至作业20、作业6、作业8、作业3、作业5和作业10按优先级顺序重新排列。作业3、作业5和作业10是用户U1的作业，并且作业6和作业8是用户U3的作业。

接下来，在计算资源选择(过程A4)中，作业调度器101搜索每个作业请求的空闲计算资源并将空闲计算资源分配给作业。从而，按照从最高优先级开始的顺序执行计算资源的分配以使得作业开始被执行。

例如，在当前时间点处正被执行的作业是作业1和作业2。将计算资源“2×5”(两个计算节点×5小时)分配给作业1，并且将计算资源“1×3”分配给作业2。相比之下，将计算资源“3×3”分配给作为等待执行的作业的作业17，将计算资源“2×3”分配给作业6，并且将计算资源“4×1”分配给作业8。通过回填调度将计算资源“2×3”分配给作业5。

回填(backfill)调度是这样的调度处理：将计算资源分配给作为处理目标的作业，使得：在与按照从最高优先级开始的顺序将计算资源分配给作业的调度的正向方向相反的方向上对时隙(对于所述时隙而言，计算资源已经被分配给其他作业)之间的间隙进行填充。对计算资源已经被分配的时隙之间的间隙进行填充的处理称为回填。根据回填调度，只要在相对短的时间内使用相对少的计算节点的作业J1不妨碍与作业J1相比优先级更高的作业J2的执行的开始，则作业J1可以比作业J2更早开始。