[发明专利]一种基于Hadoop平台的电力数据作业调度方法

权利要求书

1.一种基于Hadoop平台的电力数据作业调度方法，其特征在于，包括如下步骤：

S1、提交任务并初始化等待队列；

S2、确定当前任务，判断当前任务的类型，将当前任务分配到步骤S1中相应类型的队列中；

S3、判断节点类型，并从任务队列中取出与节点相应类型的任务；

S4、判断有没有慢任务，如果有慢任务就在另一个节点上备份任务并执行，如果没有慢任务就让其继续执行下去。

2.根据权利要求1所述的基于Hadoop平台的电力数据作业调度方法，其特征在于，步骤S1具体包括：

S11、用户在客户端中选取要执行的作业，并将它提交到等待队列W＝{w_i}中，其中w_i为等待队列内元素，i＝1，2，…，N，其中，N为等待队列内元素总个数。

3.根据权利要求2所述的基于Hadoop平台的电力数据作业调度方法，其特征在于，步骤S2具体包括：

S21、从W＝{w_i}中取出当前任务T，计算该任务的输入数据的总量σ_in和任务的输出数据总量σ_out；计算当前任务完成时间τ_finish，通过公式(σ_in+σ_out)/τ_finish计算出此时任务的I/O速度；

S22、若此时任务的I/O速度满足大于磁盘I/O速度，即(σ_in+σ_out)/τ_finish＞v_I/O时，则判断为I/O密集型的任务，加入I/O密集型队列O＝{p_i}，其中，v_I/O为磁盘I/O速度，O＝{p_i}为I/O密集型队列,p_i为I/O密集型队列内元素,i＝1，2，…，M，其中，M为I/O密集型队列内元素总个数；

若此时任务的I/O速度满足小于磁盘I/O速度，即(σ_in+σ_out)/τ_finish<v_I/O时，则判断为CPU密集型的任务，加入CPU密集型队列U＝{q_i}其中，U＝{q_i}为CPU密集型队列,q_i为CPU密集型队列内元素,i＝1，2，…，L，其中，L为CPU密集型队列内元素总个数。

4.根据权利要求3所述的基于Hadoop平台的电力数据作业调度方法，其特征在于，步骤S3具体包括：

S31、获取到磁盘I/O速度v_I/O，CPU使用率v_CPU，I/O的使用率阈值Γ_I/O，CPU使用率的阈值Γ_CPU；

S32、判断是否满足

如果不满足两个比值小于1，证明该节点是一个负载很大的节点，就放弃它寻找其他节点；

如果满足则说明该节点是一个负载较小的，I/O使用率较小的，适用于I/O密集型任务的节点；

如果满足则说明该节点是一个负载较小的，CPU使用率较小的，适用于CPU密集型任务的节点。

5.根据权利要求4所述的基于Hadoop平台的电力数据作业调度方法，其特征在于，步骤S4具体包括：

S41、记录系统中运行过的任务总数num_T，系统启动时间τ_start，当前系统时间τ_now，系统总数据输入量系统总数据输出量计算系统总数据处理量计算任务的平均处理速度

S42、在单位时间(一分钟内)计算数据瞬时处理速度v_now，比较当前任务瞬时速度v_now与任务的平均处理速度v_avg，如果v_now≥v_avg，那么则此任务不是慢任务，则在此节点继续执行下去；如果v_now<v_avg，那么判定此任务为慢任务，并复制到其他节点执行。