[发明专利]一种Hadoop集群的资源调度方法及装置

说明书

本实施例提供的Hadoop集群的资源调度方法，根据Hadoop集群中节点的硬件配置差异情况，预先为Hadoop集群中的节点设置节点类型，以及为集群中的任务队列设置队列类型。当接收到客户端发送的待调度任务后，从待调度任务中获取指定执行信息，其中，该指定执行信息包括节点类型和队列类型中的至少一项。然后，从Hadoop集群中当前可调用的节点中，获取节点类型与指定执行信息相匹配的目标节点，并将待调度任务分配给目标节点来执行。该方法能够从当前可调用的节点中调用与指定执行信息相匹配的目标节点来执行该待调度任务，根据节点物理配置的差异情况合理调度节点，提高了节点资源的利用率，以及，优化Hadoop集群的任务调度性能。

技术领域

本发明属于计算机技术领域，尤其涉及一种Hadoop集群的资源调度方法及装置。

背景技术

Hadoop集群是开源的分布式存储和大数据处理框架，主要包括Common，分布式文件系统(Hadoop Distributed File System，HDFS)，Hadoop资源管理器(Yet AnotherResource Negotiator，YARN)和映射归约MapReduce(MapReduce用于大规模数据集的并行运算)。异构Hadoop集群通常指组成集群的各个节点的硬件(CPU，内存，磁盘)配置存在差异。

YARN资源调度器负责Hadoop集群中所有资源的统一管理和分配，它接收来自各个节点的资源汇报信息，并把这些信息按照一定的策略分配给各个任务。目前的YARN资源调度器都认为集群的节点是同构的，没有考虑到某些节点的配置会有不同。这样不能根据任务需求调度最匹配的节点来执行该任务，例如，一些机器学习类型的计算机任务使用了复杂的算法，需要在高性能的CPU上计算，但现有的资源调度方式无法识别硬件配置的区别，将任务调度到普通的节点上。

发明内容

为了解决传统的Hadoop集群的资源调度方式无法根据集群内节点的特点进行调度的问题，本申请提供一种Hadoop集群的资源调度方法及装置，其技术方案如下：

第一方面，本申请提供一种Hadoop集群的资源调度方法，应用于Hadoop集群中，包括：

获取待调度任务的指定执行信息，所述指定执行信息包括Hadoop集群包含节点对应的节点类型和任务队列的队列信息中的至少一项，所述节点类型根据所述节点的硬件配置情况设置；

从当前可调用的节点中，获取节点类型与所述指定执行信息相匹配的目标节点；

将所述待调度任务分配给所述目标节点执行。

可选地，所述指定执行信息包含节点类型和队列信息；

所述从当前可调用的节点中，获取节点类型与所述指定执行信息相匹配的目标节点，包括：

获取当前可调用的节点列表；

从所述指定执行信息中获取目标节点类型及目标队列类型；

判断所述目标队列类型与所述目标节点类型是否匹配；

当所述目标队列类型与所述目标节点类型相匹配时，确定相匹配的节点为所述目标节点；

当所述目标队列类型与所述目标节点类型不匹配时，根据冲突解决策略确定出所述目标节点，所述冲突解决策略包括队列类型优先策略、节点类型优先策略、逻辑与策略和逻辑或策略。

可选地，判断所述目标队列类型与所述目标节点类型是否匹配，包括：

获取所述目标队列类型对应的全部可调度节点；

获取所述目标节点类型所包含的全部可调度节点；

比较所述目标队列类型对应的全部可调度节点与所述目标节点类型所包含的全部可调度节点是否完全相同；