[发明专利]基于Hadoop系统的任务调度方法和装置

说明书

本发明涉及一种基于Hadoop系统的任务调度方法和装置，所述方法包括：统计已提交任务未运行的映射归约的总数目；从历史记录中读取待处理任务集中任务的映射归约数目；按照预设周期从待处理任务集中筛选出待启动任务，所述待启动任务的映射归约数目与所述总数目的和小于等于预设数目；所述预设数目为Hadoop系统在预设周期内可运行的映射归约数目；提交所述待启动任务。本发明提供的基于Hadoop系统的任务调度方法和装置，可实现负载均衡。

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于Hadoop系统的任务调度方法和装置。

背景技术

Hadoop系统是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop系统实现了一种分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，可用来部署在低廉的硬件上；而且HDFS提供高吞吐量的应用程序数据访问，适合具有超大数据集的应用程序。

利用Hadoop系统目前可以处理一些周期性任务，比如每天执行一批设置好的Hadoop任务，以将ETL传入的前一天的所有日志信息存入数据仓库，其中ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)及加载(load)至目的端的过程。Hadoop系统处理任务时，由于Hadoop系统所在集群的总资源量(虚拟内核总数和内存总量)是固定的，总内存一般是充足的，而虚拟内核则是竞争性资源，因此需要对任务进行调度来保障Hadoop系统能够有序地完成任务处理。

目前，对Hadoop系统的任务进行调度是通过约束任务数量来实现的，具体是循环检测正在处理的任务数量，如果检测到的任务数量没有达到任务数量阈值，就会启动新的任务；如果检测到的任务数量达到任务数量阈值，就不会启动新的任务。

然而，在实际使用过程中，Hadoop系统处理每个任务消耗的资源量是有差异的，当正在处理的多个任务均消耗大量资源时，就会因资源竞争导致资源池卡死以及任务超时，因而目前的Hadoop系统任务调度方法会导致负载不均衡。

发明内容

基于此，有必要针对目前的Hadoop系统任务调度方法会导致负载不均衡的问题，提供一种基于Hadoop系统的任务调度方法和装置。

一种基于Hadoop系统的任务调度方法，所述方法包括：

统计已提交任务未运行的映射归约的总数目；

从历史记录中读取待处理任务集中任务的映射归约数目；

按照预设周期从待处理任务集中筛选出待启动任务，所述待启动任务的映射归约数目与所述总数目的和小于等于预设数目；所述预设数目为Hadoop系统在预设周期内可运行的映射归约数目；

提交所述待启动任务。

在其中一个实施例中，所述统计已提交任务未运行的映射归约的总数目，包括：

获取已提交任务集；

从历史记录读取所述已提交任务集中各任务所对应的子工作任务的映射归约数目；

获取已提交任务集中各任务的各子工作任务的子工作任务运行进度；

根据读取的映射归约数目以及所述子工作任务运行进度，计算已提交任务集的未运行的映射归约的总数目。

在其中一个实施例中，所述子工作任务运行进度为相应子工作任务对应的映射归约总量中已完成的映射归约的比例；

所述根据读取的映射归约数目以及所述子工作任务运行进度，计算已提交任务集的未运行的映射归约的总数目，包括：