[发明专利]一种共享集群的任务调度方法及装置

说明书

技术领域

本发明涉及信息处理领域，特别是指一种共享集群的任务调度方法及装置。

背景技术

随着现代数据中心的发展，云计算技术正在变得越来越便捷、有影响力。多个商业云平台可以为消费者提供现购现付方式，消费者们不用考虑云的架构就可以直接将程序部署在云平台上。这种方式对消费者来说确实很便利，但它同时也为云服务提供商带来了一些管理难题。

共享集群使得云计算平台变为现实。值得注意的是包括谷歌和微软在内的大多数商业云平台都使用了先占式任务调度方法来解决集群中发生的资源不足的问题。一般地说，任务在提交到云端时的附带属性中包含了该任务的优先级，而不同的优先级与用户购买的不同等级的服务相关。这意味着当系统中资源紧张时(系统负载较重)，高优先级的任务将不顾低优先级任务的执行进展，中断其执行过程，从而优先执行。当前采用的先占式任务调度机制为简单地终止低优先级任务运行，并在资源充足时重新开始运行。

这种传统的先占式任务调度可以保证高优先级任务尽快完成。然而它会使低优先级任务付出极大的代价。这种基于终止的先占式调度方法不仅增加了低优先级任务特别是需要长时间运行的低优先级任务的响应时间，而且消耗了大量的资源、极大地削弱了整个云端的效能。

针对现有技术中低优先级任务响应时间长、资源消耗大、云端工作效率低的问题，目前尚未提出有效的技术方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种共享集群的任务调度方法及装置，能够缩短低优先级任务的响应时间、提高资源利用率，进而提高云端的整体性能。

基于上述目的本发明实施例提供的共享集群的任务调度方法，包括：

确定共享集群中的资源与调度参数；

定时检查是否需要设置检查点；

当需要设置检查点时，确定需要设置检查点的任务，并为之设置检查点；

当有新任务到达时，更新正在运行的任务与混合等待队列；

当共享集群的资源使用状况发生变化时，更新正在运行的任务与混合等待队列。

其中，共享集群中的资源与调度参数包括：

确定共享集群中资源的种类数量与各类资源的总量；

根据共享集群的负载波动确定检查点设置阈值；

确定每两次检查之间的检查点设置间隔。

并且，定时检查是否需要设置检查点包括：

获取当前各类资源的占用率；

根据当前各类资源的占用率中的最大值确定当前共享集群的占用率；

将当前共享集群的占用率与检查点设置阈值进行比对，大于检查点设置阈值判定为需要设置检查点，否则判定为不需要设置检查点；

等待检查点设置间隔长度的时间后重复上述步骤进行下一次检查。

同时，确定需要设置检查点的任务包括：

获取每个正在运行的任务的优先级，并将所有正在运行的任务按照优先级由高到低排列；

获取每个正在运行的任务当前对各类资源的占用率；

从队列中依次取出任务，并将被取出任务当前对各类资源的占用率进行累加，直到各类资源的占用率均超过检查点设置阈值为止；

选取占用率最先超过检查点设置阈值的资源所对应的任务，将该任务与队列中位于该任务之后的全部任务确定为需要设置检查点的任务。

同时，当有新任务到达时，更新正在运行的任务与混合等待队列包括：

获取新到达任务对各类资源的占用率，当共享集群各类可用资源不足以处理新到达任务时继续下一步骤，否则开始运行；

获取新到达任务的优先级，当新到达任务优先级处于两个正在运行的任务之间时继续下一步骤，否则进入混合等待队列；

判断所有优先级低于新到达任务的正在运行的任务当前对各类资源的占用率、与共享集群各类可用资源之和是否足够运行新到达任务，是则中止所有优先级低于新到达任务的正在运行的任务并转移到可用队列中并运行新到达任务，否则新到达任务进入混合等待队列。

同时，当共享集群的资源使用状况发生变化时，为有任务完成时或共享集群各类可用资源增加时。

并且，当共享集群的资源使用状况发生变化时，更新正在运行的任务与混合等待队列包括：

将被完成的任务从正在运行的任务中删除并释放其占用的各类资源；

获取每个混合等待队列的任务的优先级，并将所有混合等待队列的任务按照优先级由高到低排列；