[发明专利]一种异构环境下的Hadoop任务公平调度方法

摘要

本发明公开了一种异构环境下的Hadoop任务公平调度方法。该方法分析首先判断是否执行大作业，如果执行则调用作业调度算法选择合适的作业并且调用任务调度算法，如果不执行大作业则调用资源池调度算法然后执行作业调度算法选择合适的作业，最后调用任务调度算法。本发明与现有技术相比，其显著优点：（1）支持大内存作业；（2）提高了单个作业的响应时间；（3）在异构集群环境中，使资源分配更加公平。

主权项

一种异构环境下的Hadoop任务公平调度方法，其特征在于步骤如下：步骤1、读取配置信息初始化调度方法需要的系统信息，继承公平调度器定义的类：资源池，最小共享量，权重等,每个资源池对应了一个用户组，该用户组所提交的作业都存放在该资源池中，最小共享量为资源池正常工作时需要占用的最少槽；权重则用于表示每个资源池或者作业在获得资源方面所拥有的优先级；步骤2、 启动更新线程更新线程主要负责更新：更新当前系统内所有组的作业状态、更新每个组需要多少统计槽和汇聚槽、更新每个组的公平共享量和重分发量，如果允许抢占，则根据系统当前状态，进行抢占；步骤3、判断是否执行大作业如果系统中某个任务执行者中有空闲槽存在，那么判断目前系统内是否有内存需求大的作业需要调度，如果有大内存作业，并且大内存作业组的权限已经达到了最大值，则执行步骤4，否则执行步骤5；步骤4、采用作业调度方法，从大内存作业组内的作业队列中选择作业进行分配，判断当前任务执行者是否适合运行大内存作业，如果不适合的话，选择下一个作业，直到选择到合适的作业，如果没有合适的作业，那么转入第四步；如果选择到了合适的作业，调用任务分配算法，将当前槽分配给该任务，调度方法结束当前分配；步骤5、如果未能大内存作业分配，则调用资源池调度算法，从当前资源池中选择合适的作业组，然后调用作业调度方法，从该作业组的作业集合中选择出合适的作业，最后调用任务分配算法选择出任务，进行分配，调度方法结束当前分配。