[发明专利]用于高度并行作业的回填调度方法和系统

说明书

用于高度并行作业的回填调度。公开的方法包括：接收初始调度，其包括随时间在多个节点调度上的多个作业；确定第一作业可被拆分为可在不同的节点上被分别并行执行的多个子任务；将第一作业拆分为多个子任务，并将第一子任务从其在初始调度的位置移动到新位置以生成第一修改的调度。

技术领域

本发明一般涉及任务管理领域，且更具体地，涉及资源分配。

背景技术

最现代的并行作业调度器给予作业静态资源分配，即，作业被分配其在其作业脚本中所请求的独立资源集(在此被称为节点)的数量，并在其执行过程中以专用方式使用这些资源。基于先来先服务(FCFS)原理的广泛使用的回填算法执行以下操作：(i)以作业到达作业队列的顺序来维护作业，且如可能按顺序来调度它们；(ii)一旦作业完成(或到达，如果当前没有作业运行，且队列中当前没有作业)，从队列前端分派作业并为队列中由于不能获得充分资源而不能运行的第一个作业(“队列最高作业”)保留资源；(iii)基于用户估计的运行作业的墙上时间(wall time)，计算回填时间窗口(用户运行时估计固有地是不精确的，这样可能存在由于用户高估运行时导致回填窗口没有被填充的情况)；以及(iv)遍历作业队列并调度适合回填窗口且其执行不会干扰“队列最高作业”的提前资源保留的作业，(这样的作业应当在保留的“队列最高作业”开始时间前被完成或者仅占据提前保留不需要使用的资源)。

技术计算越来越面向非常大的数据大小，而大数据分析作为尖端技术出现。大数据分析领域中的大部分作业是高度并行(EP)作业。在并行计算中，高度并行负载(或高度并行问题)是指需要很少或不需要努力来将问题分为若干并行的子任务的负载。这通常是并行子任务之间不需要存在依赖性(或通信)的情况。

一些传统的调度器使用这样的过程，其中当可获得最小数量的资源时，EP作业就被调度为开始。这些以旨在最优填充可用资源的方式动态并适应性地调度作业的方法通常利用概念“可调整大小的作业”的概念。在这样的调度中，作业可缩小或扩大以适应资源可用性的变化模式。例如，一旦EP作业开始，它持续运行直到EP作业完成。在这期间，EP作业可以(i)通过向其分配更多的资源来扩大(“扩大”)；以及/或(ii)通过动态拿走一些资源来缩小(“缩小”)，例如如果资源被要求用于其他高优先级作业的话。

发明内容

根据本发明的一方面，存在一种计算机程序产品、系统和/或方法，其执行以下动作(不是必须按照以下顺序，且不是必须以串行顺序)：接收作业的初始调度，包括随时间被调度在多个节点上的多个作业；确定来自多个作业的第一作业可被拆分为多个子任务，其可在不同节点上被分别并行执行；将第一作业拆分为多个子任务，并将第一子任务从其在初始调度中的位置移动到新位置以生成首次修改的调度。

附图说明

图1是根据本发明的联网计算机系统的第一实施例的示意图；

图2是示出至少部分由第一实施例计算机系统执行的过程的流程图；

图3是第一实施例计算机系统的一部分的示意图；

图4是根据本发明的实施例的作业队列；

图5是图4中示出的作业队列的传统执行顺序；

图6是根据本发明实施例的高度并行作业；

图7是根据本发明实施例的图4示出的作业队列的执行顺序；

图8A是展示根据本发明实施例的作业队列执行性能的性能图；以及

图8B是展示根据本发明实施例的作业队列执行性能的性能表。

具体实施方式

具体描述部分被分为以下几个子部分：(i)硬件和软件环境；(ii)第一实施例；(iii)进一步的评价和/或实施例；以及(iv)定义。

I.硬件和软件环境