[发明专利]加速短作业处理的调度方法和装置

说明书

本发明提供了一种加速短作业处理的调度方法和装置，包括：接收作业请求，选择队列，并在队列中设置作业的预留位置标记；如果队列中有长作业影响短作业处理，确定作业的备选队列，并在备选队列中设置作业的备选预留位置标记；当在队列中处理到作业的预留位置标记时，队列接受任务请求，取消作业的备用预留位置标记。本发明能够支持短作业的快速调度，提高系统的吞吐量，使得集群具有快速响应的优势。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种加速短作业处理的调度方法和装置。

背景技术

在互联网高速发展的时代，数据量呈现指数型增长，随着数据量的剧增、数据种类的复杂性等等，我们迎来了大数据时代。在大规模数据分析处理框架中，Hadoop集群已经成为并行处理的研究系统。任务调度算法是Hadoop平台上的核心技术之一，调度算法的设计合理性直接影响着Hadoop平台任务执行的效率。

在Hadoop平台中的现有调度算法是先入先出队列调度算法(FIFO，First InputFirst Output)、公平调度算法、计算能力调度算法。在FIFO中，使用了单独的队列进行任务调度，没有考虑不同用户的不同任务之间的差异，使得系统的资源利用率不高，对系统的整体性能有影响。在公平调度算法和计算能力调度算法中，这类算法的思想是尽可能的确保所有的作业能够获取相同的资源量，同时根据队列资源分配量、作业分配资源量及用户资源分配量的限制保证率资源分配的合理性。它克服了FIFO算法资源利用率低和不支持任务抢占的缺点，为系统的性能带来了一定的提升。

但是，现有的算法均没有考虑短作业任务的情况调度，在现实生活中，短作业任务与实时作业任务是很常见的，这类任务执行的时间较短。然而，一个作业的执行时间是最长任务的执行时间决定的，如果作业调度过程中任务分配的不均衡或不合理，就可能会造成任务作业执行时间较长。因此，现有的任务调度算法不适合短作业的处理。

发明内容

为了解决上述技术问题，本发明提供了一种加速短作业处理的调度方法和装置，能够加速短作业的处理，提高集群整体的性能。

为了达到本发明目的，本发明提供了一种加速短作业处理的调度方法，包括：接收作业请求，选择队列，并在所述队列中设置所述作业的预留位置标记；如果所述队列中有长作业影响短作业处理，确定所述作业的备选队列，并在所述备选队列中设置所述作业的备选预留位置标记；当在所述队列中处理到所述作业的预留位置标记时，所述队列接受任务请求，取消所述作业的备用预留位置标记。

进一步地，所述作业请求，包括：接收作业时间和作业执行时间，其中，根据所述执行时间的长短来划分长作业和短作业；所述选择队列，包括：选择队列长度最短的队列。

进一步地，所述确定所述作业的备选队列，并在所述备选队列中设置所述作业的备选预留位置标记，包括：计算各队列处理任务的速度，选择处理任务速度最快的队列作为所述作业的备选队列，并在所述备选队列中设置所述作业的备选预留位置标记。

进一步地，所述计算各队列处理任务的速度，包括：根据各队列的长度对队列进行排序，根据所述排序结果，选取设定数量的队列长度短的队列；分别在选取的队列中标记任务X的起始位置为Xi；经过设定时间后，分别在选取的队列中标记任务X的位置为Xj；分别计算选取的队列处理任务的速度V＝(Xi-Xj)/(Xi+1)。

进一步地，所述当在所述队列中处理到所述作业的预留位置标记时，所述队列接受任务请求，取消所述作业的备用预留位置标记，包括：当在所述队列中处理到所述作业的预留位置标记时，向调度器发送可接受任务的请求，所述调度器在所述队列成功接受任务后取消所述备用队列中的备用预留位置标记。