[发明专利]一种于Hadoop平台中动态调整任务数目的方法及系统

权利要求书

1.一种于Hadoop平台中动态调整任务数目的方法，其特征在于，包括：

步骤10，持续获取节点中运行的每个任务的执行速率；

步骤20，计算执行速率在下降的任务的个数；

步骤30，根据该个数判断是否需要调整节点中所运行的任务的数目；

该步骤30进一步包括：

判断TER_Changed_Num≥Curr_Slots_Num×ThresHold是否为真，如果是，减少该节点中运行的任务的数目，如果否，增加该节点中运行的任务的数目；

其中，TER_Changed_Num为执行速率在下降的任务的个数，Curr_Slots_Num为节点中当前运行的任务数，ThresHold为一阈值。

2.如权利要求1所述的方法，其特征在于，步骤10之前还包括：

步骤1，获取集群中每个节点的处理能力；

步骤2，获取每个节点的处理资源的使用率。

3.如权利要求2所述的方法，其特征在于，还包括：

该获取集群中每个节点的处理能力的步骤进一步包括：读取每个节点上的CPU核数；和/或

该获取每个节点的处理资源的使用率的步骤进一步包括：每隔固定时间间隔读取每个节点的CPU使用率以及内存使用率。

4.如权利要求1所述的方法，其特征在于，该步骤10进一步包括：

在节点的每个任务的执行过程中，以固定时间间隔持续获取该任务的当前执行进度，据以计算各时间点的执行速率。

5.如权利要求4所述的方法，其特征在于：

TER＝(TaskProgress_New-TaskProgress_Old)/IntervalTime

其中，TaskProgress_New为当前任务执行进度，TaskProgress_Old为前次任务执行进度，TER为执行速率，IntervalTime为固定时间间隔。

6.如权利要求4所述的方法，其特征在于，该步骤20进一步包括：

针对每个任务依次判断：该任务的本次执行速率是否小于该任务的前次执行速率；

如果是，该任务视为执行速率在下降，该个数增加1。

7.如权利要求1所述的方法，其特征在于，该减少该节点中运行的任务的数目的步骤进一步包括：

判断节点中的当前任务数目，如果大于1且已有任务执行结束，减少节点中运行的空闲任务的数目，其余情况返回。

8.如权利要求1所述的方法，其特征在于，该增加该节点中运行的任务的数目的步骤进一步包括：

判断节点中的当前任务数目是否等于节点所配置的最大任务数目，如果是，进一步判断节点的剩余处理资源是否大于新增任务所需的最低处理资源阈值，如果是，在节点中增加运行至少一空闲任务；其余情况返回。

9.一种Hadoop平台中动态调整任务数目的系统，其特征在于，包括：

执行速率获取装置，持续获取节点中运行的每个任务的执行速率；

个数计算装置，计算执行速率在下降的任务的个数；

调整判断装置，根据该个数判断是否需要调整节点中所运行的任务的数目；

该调整判断装置进一步包括：

判断TER_Changed_Num≥Curr_Slots_Num×ThresHold是否为真的单元，如果是，调用减少该节点中运行的任务的数目的单元，如果否，调用增加该节点中运行的任务的数目的单元；其中，TER_Changed_Num为执行速率在下降的任务的个数，Curr_Slots_Num为节点中当前运行的任务数，ThresHold为一阈值。

10.如权利要求9所述的系统，其特征在于，还包括：

处理能力获取装置，获取集群中每个节点的处理能力；

处理资源获取装置，获取每个节点的处理资源的使用率。

11.如权利要求10所述的系统，其特征在于，还包括：

该处理能力获取装置进一步包括：读取每个节点上的CPU核数的单元；和/或

该处理资源获取装置进一步包括：每隔固定时间间隔读取每个节点的CPU使用率以及内存使用率的单元。