[发明专利]一种最小化MapReduce集群能耗的任务调度方法

摘要

本发明公开了一种最小化MapReduce集群能耗的任务调度方法，包括预处理阶段：在每个服务器上构建模糊逻辑控制系统，以便动态的更新服务器上的工作槽数量；解决方案阶段：根据截止期和数据本地化的约束，对作业和任务进行排序，使得较多的作业可以在截止期内完成，并使得集群总运行时间降低；更新阶段：在每个心跳期，根据任务的执行情况更新任务排序，并根据服务器的资源利用率和模糊逻辑控制系统，实时更新集群环境。本发明通过减少集群总运行时间，降低能耗。在绿色计算领域有广泛的应用价值和使用前景。

主权项

1.一种最小化MapReduce集群能耗的任务调度方法，其特征在于：包括以下阶段：A.预处理阶段：根据收集到的资源利用率，所述资源利用率包括CPU利用率、内存利用率和网络带宽利用率，分别获取CPU利用率、内存利用率和网络带宽利用率的频率分布情况，根据CPU利用率、内存利用率和网络带宽利用率的频率分布情况分别确定出CPU利用率、内存利用率和网络带宽利用率的隶属函数；依据相应专家给出的模糊规则和得到的隶属函数构造每个服务器上的模糊控制系统，在任务调度过程中，利用构建在服务器上的模糊逻辑控制系统，动态改变服务器的工作槽数量，优化任务调度顺序，从而动态的决定服务器上的工作槽数量；所述预处理阶段具体步骤如下：A1.记录服务器的CPU利用率、内存利用率和网络带宽利用率的实时数据，形成数据集；A2.对步骤A1中的数据集通过采样分析得到CPU利用率、内存利用率和网络带宽利用率的频率分布图，由频率分布图和数学模型确定各个服务器CPU利用率、内存利用率和网络带宽利用率的隶属函数；A3.利用经验和专家知识构建模糊规则；A4.根据确定的CPU利用率、内存利用率和网络带宽利用率的隶属函数和构建的模糊规则构造每个服务器上的模糊逻辑控制系统，在任务调度过程中根据模糊逻辑控制系统实时更新服务器环境状态，动态改变服务器上的工作槽数量；B.解决方案阶段：首先根据每个作业的正在运行任务数、等待处理的任务数和已经完成的任务数进行作业所需最少工作槽数量的计算，依据最少工作槽数建立作业的优先级队列；然后根据作业的优先级队列，依次取出优先级队列中的作业，交替选择该作业的执行时间长的任务和执行时间短的任务进行排队建立任务队列，直到任务队列的长度和集群上的全部空闲工作槽数量相等；建立任务工作槽关联列表，优先选择数据本地化代价最小的空闲工作槽分配给任务并执行；所述解决方案阶段中包括以下步骤：B1.根据每个作业的正在运行任务数、等待处理的任务数和已经完成的任务数进行作业所需最少工作槽数量的计算，并按照所需最少工作槽数从大到小对作业进行排序得到作业的优先级队列；作业所需分配的工作槽数的计算公式如下：其中，表示作业i所需分配的工作槽数，表示作业i正在运行的任务数，p_ij表示任务A_ij的执行时间，A_ij表示作业i的第j个任务，表示任务A_ij已经过的执行时间，表示作业i的等待任务集合，表示作业i已完成的任务集合，D_i表示作业i的截止期，t表示当前系统时间，K表示K个时间单元；B2.在每个心跳期，按序从作业优先级队列中获取作业，交替选择作业中的具有长执行时间的任务和短执行时间的任务，依次加入到任务队列，直到任务队列的长度和集群上的全部空闲工作槽数量相等为止；B3.每一个任务都有一个本地节点工作槽列表、本地机架工作槽列表和远程工作槽列表，它们分别代表着节点层次的数据本地化、机架层次的数据本地化和远程的数据本地化，通过一个数据本地化代价的矩阵，确定分配给各任务的工作槽，得到一个关联列表，并执行任务；其中数据本地化表示任务所分配到的节点要接近于它所需处理的输入数据所在的节点；数据本地化程度由高到低可分为三个级别，分别为节点级别，机架级别，远程级别；C.更新阶段：在每个心跳期，根据任务的当前执行情况实时更新任务排序；在服务器配置了模糊控制系统的前提下，根据每个服务器当前的CPU利用率、内存利用率和网络带宽利用率动态决定是否要改变该服务器上的工作槽数量；所述更新阶段包括以下步骤：C1.对当前所有未完成的作业，依据B1中所示公式计算其相应的所需最少工作槽数，并按照所需最少工作槽数从大到小对作业进行排序；C2.将服务器的当前CPU利用率，内存利用率和网络带宽利用率作为模糊控制系统的输入值，依据隶属函数和所满足的模糊规则得到其对应的输出值，即当前服务器的工作槽数是否需要发生变化。