[发明专利]基于Hadoop系统的任务调度方法和装置

权利要求书

1.一种基于Hadoop系统的任务调度方法，包括：

统计已提交任务未运行的映射归约的总数目；

从历史记录中读取待处理任务集中任务的映射归约数目；

按照预设周期从所述待处理任务集中筛选出待启动任务，所述待启动任务的映射归约数目与所述总数目的和小于等于预设数目；所述预设数目为Hadoop系统在预设周期内可运行的映射归约数目；筛选出的待启动任务构成待启动任务集；

当所述总数目小于预设数目的第一条件和所述待处理任务集中还有任务的第二条件中至少一者不满足时，提交所述待启动任务集。

2.根据权利要求1所述的方法，其特征在于，所述统计已提交任务未运行的映射归约的总数目，包括：

获取已提交任务集；

从历史记录读取所述已提交任务集中各任务所对应的子工作任务的映射归约数目；

获取所述已提交任务集中各任务的各子工作任务的子工作任务运行进度；

根据读取的映射归约数目以及所述子工作任务运行进度，计算所述已提交任务集的未运行的映射归约的总数目。

3.根据权利要求2所述的方法，其特征在于，所述子工作任务运行进度为相应子工作任务对应的映射归约总量中已完成的映射归约的比例；

所述根据读取的映射归约数目以及所述子工作任务运行进度，计算所述已提交任务集的未运行的映射归约的总数目，包括：

根据所述子工作任务运行进度计算相应子工作任务未完成的映射归约的比例；

将所述读取的映射归约数目以相应子工作任务未完成的映射归约的比例为权重计算加权和，获得所述已提交任务集的未运行的映射归约的总数目。

4.根据权利要求1所述的方法，其特征在于，所述按照预设周期从所述待处理任务集中筛选出待启动任务，包括：

逐个从所述待处理任务集中取出任务；

从历史记录读取取出的任务的映射归约数目；

判断所述取出的任务的映射归约数目与所述总数目的和是否小于等于预设数目；

若是，则将所述取出的任务加入待启动任务集，并更新所述总数目，继续执行所述逐个从所述待处理任务集中取出任务的步骤；

若否，则执行所述当所述总数目小于预设数目的第一条件和所述待处理任务集中还有任务的第二条件中至少一者不满足时，提交所述待启动任务集。

5.根据权利要求4所述的方法，其特征在于，所述若否，则提交所述待启动任务集，包括：

若否，判断是否满足：所述总数目小于所述预设数目的第一条件和/或所述待处理任务集中还有任务的第二条件；

若所述第一条件和所述第二条件均满足，则执行所述逐个从所述待处理任务集中取出任务的步骤；

若所述第一条件和所述第二条件中至少一者不满足，则提交所述待启动任务集。

6.一种基于Hadoop系统的任务调度装置，其特征在于，包括：

统计模块，用于统计已提交任务未运行的映射归约的总数目；

第一读取模块，用于从历史记录中读取待处理任务集中任务的映射归约数目；

筛选模块，用于按照预设周期从所述待处理任务集中筛选出待启动任务，所述待启动任务的映射归约数目与所述总数目的和小于等于预设数目；所述预设数目为Hadoop系统在预设周期内可运行的映射归约数目；筛选出的待启动任务构成待启动任务集；

提交模块，用于当所述总数目小于预设数目的第一条件和所述待处理任务集中还有任务的第二条件中至少一者不满足时，提交所述待启动任务集。

7.根据权利要求6所述的装置，其特征在于，所述统计模块包括：

获取模块，用于获取已提交任务集；

第二读取模块，用于从历史记录读取所述已提交任务集中各任务所对应的子工作任务的映射归约数目；

子工作任务运行进度获取模块，用于获取所述已提交任务集中各任务的各子工作任务的子工作任务运行进度；

计算模块，用于根据读取的映射归约数目以及所述子工作任务运行进度，计算所述已提交任务集的未运行的映射归约的总数目。