[发明专利]基于Hadoop的调度方法

权利要求书

1.一种基于Hadoop的调度方法，包括如下步骤：

S1.Fair scheduler正常调度任务；

S2.当有节点Node请求任务时，判断是否存在请求任务的类型，并根据判断结果选定Fair scheduler调度的Container；

S3.判断请求任务的节点Node是否被标记，并根据判断结果选定Fair scheduler调度的Container。

2.根据权利要求1所述的基于Hadoop的调度方法，其特征在于所述的基于Hadoop的调度方法，还包括如下步骤：当有新的任务请求提交时，所有的标志将被清除；

步骤S2所述的当有节点Node请求任务时，判断是否存在请求任务的类型，并根据判断结果选定Fair scheduler调度的Container，具体为采用如下步骤选定Fair scheduler调度的Container：

当有节点Node请求任务时，判断是否存在请求任务的类型：

若存在请求任务的类型，则优先选择数据存储在该发出请求的节点Node的Container；

若不存在请求任务的类型，则进行步骤S3的判断。

3.根据权利要求2所述的基于Hadoop的调度方法，其特征在于步骤S3所述的判断请求任务的节点Node是否被标记，并根据判断结果选定Fair scheduler调度的Container，具体为采用如下步骤选定Fair scheduler调度的Container：

步骤S2的判断结果为不存在请求任务的类型时，再判断请求任务的节点Node是否被标记：

若请求任务的节点Node未被标记，则选择在该应用程序内传输时间或等待时间最小且传输时间或等待时间小于1的Container作为Fair scheduler调度的Container；若不存在传输时间或等待时间小于1的Container，则放弃此次任务请求；

若请求任务的节点Node被标记，则选择在该应用程序内传输时间或等待时间最小的Container作为Fair scheduler调度的Container。

4.根据权利要求3所述的基于Hadoop的调度方法，其特征在于所述的等待时间，具体为采用如下算式计算等待时间：

若所有的节点均以相同的速度运行，则：

式中v为节点的运行速度；P为进展；T_e为运行时间；T_l为剩余运行时间；

若所有的节点未以相同的速度运行，则：

式中f(X,Y)为任务剩余时间；n为被执行的任务所被划分的阶段数；表示被执行的任务的第i阶段；X＝{x₁,x₂,...,x_i,...,x_n}表示每个阶段的P，表示每个阶段的T_e。