[发明专利]应用于Spark的作业分配方法及装置

权利要求书

1.一种应用于Spark的作业分配方法，其特征在于，包括：

在进行第t次作业分配时，确定待分配作业的作业类型，其中，t为大于等于1的整数；

进行N轮Reducer节点选择直至从Reducer节点集合中选择出一个目标Reducer节点，然后将所述待分配作业分配到该目标Reducer节点；其中，在进行每轮Reducer节点选择时，先根据第t次作业分配时所述Reducer节点集合中各Reducer节点的选择概率从所述Reducer节点集合中选择出一个Reducer节点，然后计算该选择出的Reducer节点在所述作业类型上的负载阈值，若该选择出的Reducer节点在所述作业类型上的当前负载小于所述负载阈值，则将该选择出的Reducer节点确定为目标Reducer节点；若该选择出的Reducer节点在所述作业类型上的当前负载大于或等于所述负载阈值，则将该选择的Reducer节点从所述Reducer节点集合中删除，然后更新所述Reducer节点集合中剩余各Reducer节点的选择概率，进而进入下一轮Reducer节点选择，N为大于等于1的整数；

根据第t次作业分配时所述目标Reducer节点在所述作业类型上的选择概率以及第t次作业分配时所述目标Reducer节点在非所述作业类型上的选择概率，重新确定所述目标Reducer节点的选择概率，然后基于重新确定的所述目标Reducer节点的选择概率缩放所述Reducer节点集合中其他Reducer节点的选择概率，得到第t+1次作业分配时所述Reducer节点集合中各Reducer节点的选择概率。

2.根据权利要求1所述的应用于Spark的作业分配方法，其特征在于，还包括：

在第t次作业分配时所述目标Reducer节点在所述作业类型上的选择概率以及第t次作业分配时所述目标Reducer节点在非所述作业类型上的选择概率的基础上，根据预设的奖惩更新模型进行选择概率更新，得到第t+1次作业分配时所述目标Reducer节点在所述作业类型上的选择概率以及第t+1次作业分配时所述目标Reducer节点在非所述作业类型上的选择概率。

3.根据权利要求1所述的应用于Spark的作业分配方法，其特征在于，所述确定待分配作业的作业类型，具体包括：

从所述待分配作业中取出作业样本；

将所述作业样本输入Spark中，利用Map阶段的输入输出量以及Shuffle阶段的输入输出量来计算所述作业样本对应的吞吐量；

若所述作业样本对应的吞吐量小于磁盘平均吞吐量，则确定所述待分配作业的作业类型为CPU类型，若所述作业样本对应的吞吐量大于磁盘平均吞吐量，则确定所述待分配作业的作业类型I/O类型。

4.根据权利要求1所述的应用于Spark的作业分配方法，其特征在于，所述计算该选择出的Reducer节点在所述作业类型上的负载阈值，具体包括：

根据该选择出的Reducer节点在所述作业类型上的计算能力、所有Reducer节点在所述作业类型上的总计算能力、所有Reducer节点在所述作业类型上的当前总负载以及预设的负载溢出百分比，计算该选择出的Reducer节点在所述作业类型上的负载阈值。