[发明专利]一种基于异构Hadoop集群的任务调度方法

权利要求书

1.一种基于异构Hadoop集群的任务调度方法，其特征在于，包括以下步骤：

步骤1，Hadoop集群中每个NM节点获取自身的实时性能信息，实时性能信息至少包括CPU空闲资源、CPU总资源、RAM空闲资源和RAM总资源；

步骤2，根据NM节点的实时性能信息，在Hadoop集群中选取CPU空闲资源和RAM空闲资源均不为零的多个NM节点，并在选取的CPU空闲资源和RAM空闲资源均不为零的多个NM节点中随机选取一个NM节点作为待分配节点；

步骤3，在用户提交的多个作业中，选择与待分配节点相匹配的作业；

步骤3.1,计算多个作业中的每个作业与待分配节点的作业匹配度，其中，第j个作业与待分配节点的作业匹配度用表示，采用的公式如下：

其中，表示第j个作业的用户指定优先级；表示第j个作业的动态优先级；表示第j个作业中数据本地性的值标记为最高的map任务的数量；表示第j个作业处理数据的大小；J_localmin表示所有作业中数据本地性的值标记为最高的map任务的数量的最小值，J_localmax表示所有作业中数据本地性的值标记为最高的map任务的数量的最大值；J_sizemin表示所有作业处理数据的最小值，J_sizemax表示所有作业处理数据的最大值；

步骤3.2,选取作业匹配度的最大值对应的作业作为与待分配节点相匹配的作业；

步骤4，计算步骤3中选择出的与待分配节点相匹配的作业中的每个任务与待分配节点的任务匹配值，具体包括以下步骤：

步骤4.1，判断待分配节点的CPU空闲资源和RAM空闲资源是否均大于步骤3中选择出的与待分配节点相匹配的作业中的某个任务的CPU请求资源和RAM请求资源，若是，则该任务为满足需求的任务，并执行步骤4.2，否则，该任务与待分配节点的任务匹配值为0；

步骤4.2，计算满足需求的任务与待分配节点的任务匹配值，采用的公式如下：

MV_task＝a*T_c+b*T_m+c*T_l

其中，a,b,c是常量，且a+b+c＝1，0＝a,b,c＝1，T_l是任务的数据本地性的值，T_c是待分配节点的CPU空闲资源和任务的CPU请求资源的匹配程度，T_m是待分配节点的RAM空闲资源和任务的CPU请求资源的匹配程度；

步骤5，在步骤4计算得到的任务匹配值中的最大值对应的任务分配给待分配节点，并将该任务标记为已分配，将其由作业中去除，不再对其分配NM节点；返回步骤1，直至所有作业中的所有任务均分配给相应NM节点执行。

2.如权利要求1所述的基于异构Hadoop集群的任务调度方法，其特征在于，所述步骤3.1中的第j个作业的动态优先级采用如下公式计算：

其中，J_aj代表第j个作业中所有的map任务数量,J_cj代表第j个作业中已经完成的map任务的数量。

3.如权利要求1所述的基于异构Hadoop集群的任务调度方法，其特征在于，所述步骤3.1中的第j个作业中数据本地性值标记为最高的map任务的数量的获取方法如下：

NM节点的实时性能信息通过Heartbeat发送给RM节点，RM节点根据获取的NM节点的实时性能信息，判断第j个作业中map任务的数据是否存储在待分配节点上，如果是，则将该map任务的数据本地性的值标记为最高值A，否则，将判断该map任务是否与待分配节点在同一个机架上，如果是，则将该map任务标记为次高值B,否则，将该map任务标记为最小值C。

4.如权利要求1所述的基于异构Hadoop集群的任务调度方法，其特征在于，所述4.2中的待分配节点的CPU空闲资源和任务的CPU请求资源的匹配程度T_c，采用如下公式计算：

其中，Host.rc表示待分配节点的CPU空闲资源，task.rqc表示任务的CPU请求资源，Host.ac表示待分配节点的CPU总资源。

5.如权利要求1所述的基于异构Hadoop集群的任务调度方法，其特征在于，所述步骤4.2中的待分配节点的RAM空闲资源和任务的CPU请求资源的匹配程度T_m，采用如下公式计算：

其中，Host.rm表示待分配节点的RAM空闲资源，task.rqm表示任务的RAM请求资源，Host.am表示待分配节点的RAM总资源。