[发明专利]一种多任务动态资源调度方法

说明书

本发明公开了一种多任务动态资源调度方法，当接收到新任务时在所有运行任务中选取新任务对应的候选任务，并且各运行任务对应的优先级基于各运行任务的已运行时长确定的；根据新任务对应的系统分配资源，确定各候选任务对应的调整资源；根据各候选任务的调整资源对各候选任务对应的分配资源进行调整，将调整得到的系统资源分配给新任务。本实施例利用容器化资源隔离方式，实现了基于任务已执行时长的动态资源调度机制，这样无须提前预测任务运行所需要的时间，根据任务已执行时间，给不同任务设置动态优先级，优先级高的任务分配较多资源，反之减少分配的资源，使得在减少短任务完成时间的前提下，保证长任务的完成，提高整体的资源使用率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种多任务动态资源调度方法。

背景技术

大数据处理平台中的一个计算需求普遍会被分解为多个计算任务，多个计算任务的结果共同组成最终的处理结果。对不同计算任务在时间和资源两种维度上的调度方式，决定了计算需求的完成时间和整个大数据处理平台的资源使用效率。目标为了满足计算需求在时间调度的需求，目前普遍采用对任务时长进行预测的方法，这样基于预测任务长短的调度算法虽然能保证短任务的完成时间，但是其依赖对任务的提前预测，预测准备度不能保证，从而会导致时间调度算法的失效；另外，基于预测的算法本身实现复杂，带来较大的开销。

因而现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种多任务动态资源调度方法。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种多任务动态资源调度方法，所述方法包括：

当接收到新任务时，在所有运行任务中选取新任务对应的候选任务，其中，所述候选任务对应的优先级处于预设优先级区间，各运行任务对应的优先级为基于各运行任务的已运行时长确定的；

根据所述新任务对应的系统分配资源，确定各候选任务各自对应的调整资源；

根据各候选任务各自对应的调整资源分别对各候选任务对应的分配资源进行调整，并将调整得到的系统资源分配给所述新任务。

在一个实现方式中，所述当接收到新任务时，根据该新任务对应的所有候选任务具体包括：

当接收到新任务时，获取系统的空闲资源；

若空闲资源未满足所述系统分配资源，则根据该新任务对应的所有候选任务；

若空闲资源满足所述系统分配资源，则基于空闲资源为所述新任务分配资源。

在一个实现方式中，所述预设优先级区间的下限值对应的优先级低于预设最高优先级，并且上限值对应的优先级等于预设最低优先级。

在一个实现方式中，所述根据所述新任务对应的系统分配资源，确定各候选任务各自对应的调整资源具体包括：

根据所述新任务对应的系统分配资源，确定预设优先级区间中各候选优先级对应的候选资源；

对于每个候选优先级，根据该候选优先级对应的候选资源，确定该候选优先级对应的各候选任务对应的调整资源。

在一个实现方式中，对于每个候选优先级，该候选优先级对应的候选资源等于目标值与所述系统分配资源的乘积，其中，所述目标值为该候选等级与预设优先级区间中各候选优先级的和的比值。

在一个实现方式中，所述新任务对应的优先级为最高优先级。

在一个实现方式中，所述方法还包括：

每间隔预设时间，获取每个对照优先级对应的所有运行任务，其中，所述对照优先级为所有优先级中除最低优先级外的其它优先级；