[发明专利]自适应任务调度方法、系统及包括该方法的检索方法

说明书

本申请涉及大数据处理领域，特别是涉及一种自适应任务调度方法、系统及包括该方法的检索方法。包括：根据工作节点的资源利用情况和负载变化情况，每间隔一定周期，工作节点对其节点的权值进行调整；任务调度节点读取各个工作节点的权值情况，并对权值进行排序，根据所述权值的排序进行任务调度。本发明考虑了集群异构性和工作节点当前的资源剩余情况，解决了工作节点计算任务分配的相对不均衡问题，提高了系统总体计算能力并缩短了总体任务完成时间，实现了性能的提高。

技术领域

本申请涉及大数据处理领域，特别是涉及一种自适应任务调度方法、系统及包括该方法的检索方法。

背景技术

随着各大数据中心、超算中心和互联网公司等机构设备的更新换代和高性能部件(如GPU等)的引入，集群中各节点逐步变得异构，计算节点在CPU、内存和IO等方面不同的性能导致它们的处理能力出现差异。因而各节点的综合计算能力出现较大的差异，整个集群处于资源不均衡的状态。由于集群中各节点的能力不同，相同任务分配到不同节点将对节点负载产生不同的影响。

Spark默认的任务调度是spark任务调度器从注册的工作节点中随机选取部分节点；遍历所挑选的节点，将任务分配给本地化最高的任务执行节点。这一任务调度方法基于集群节点同构的理想化设计，并未考虑集群异构性及节点资源利用和负载变化的情况，因此无法解决资源异构模式下系统的节点计算任务分配的相对不均衡和系统总体计算能力受限和总体任务完成时间长和性能低的问题。为了改善了计算资源浪费的问题，在集群调度方面提出自适应任务调度方法，

同时，在大数据时代，各种信息呈现爆炸式增长，随着信息量的膨胀，人们越来越难检索出对自己有价值的信息，如何解决大数据环境下，对信息的有效检索是至关重要的，因此本申请在自适应任务调度方法的基础上还提出了一种检索方法。

发明内容

本申请实施例提供了一种自适应任务调度方法、系统以及分布式检索方法，以至少解决相关技术中任务调度的问题。

第一方面，本申请实施例提供了一种自适应任务调度方法，包括以下步骤：

权值调整步骤：根据工作节点的资源利用情况和负载变化情况，每间隔一定周期，工作节点对其节点的权值进行调整；

任务调度步骤：任务调度节点读取各个工作节点的权值情况，并对权值进行排序，根据所述权值的排序进行任务调度。

在其中一些实施例中，所述权值调整步骤具体包括：

参数预设步骤，预设节点能力统计指标值和周期计算值为零，

获取节点信息步骤，工作节点获取其节点的资源利用情况和负载变化情况，包括CPU利用率、内存利用率和单核平均队列长度；

分析节点信息步骤，通过设置每个参数的阈值，将各自对应的阈值分别与获取的CPU利用率、内存利用率和单核平均队列长度进行对比，若阈值均大于各参数，则提高节点能力统计指标值，反之，节点能力统计指标值不变；

动态调整步骤，判断周期计算值是否达到预设的节点权值调整周期，若达到，则根据节点能力统计指标调整权值大小，若没达到，则继续获取其工作节点信息。

在其中一些实施例中，所述动态调整步骤具体包括：

当周期计算值达到节点权值调整周期，比较此时的节点能力统计指标和强决定因子与节点权值调整周期乘积的向上取整值，

若节点能力统计指标值大于强决定因子与节点权值调整周期乘积的向上取整，节点的权值增加；

若节点能力统计指标值小于弱决定因子与节点权值调整周期乘积的向上取整，节点的权值降低。

在其中一些实施例中，所述任务调度步骤具体包括：